Cloudflare je dodao kontrolu na AI Gateway koja operaterima omogućuje da zahtijevaju vjerodajnice pružatelja usluga na zahtjeve modela treće strane. Promjena je mala u smislu sučelja, ali se bavi praktičnim problemom upravljanja za timove koji usmjeravaju promet umjetne inteligencije kroz pristupnik: što bi se trebalo dogoditi kada korisnik, projekt ili zakupac nije dostavio važeći ključ pružatelja usluga?
Prije ovog ažuriranja, Cloudflare AI pristupnik mogao je koristiti svoje postavke objedinjene naplate kao zamjenski put za podržane pružatelje trećih strana. To može biti zgodno kada zahtjev inače ne bi uspio, ali također može zamagliti granice pripisivanja troškova i usklađenosti. Nova BYOK-only postavka omogućuje vlasnicima pristupnika da spriječe to vraćanje i zahtijevaju da umjesto toga zahtjevi koriste izričito dostavljene vjerodajnice za unos vlastitog ključa.
Cloudflare kaže da se postavka može omogućiti na nadzornoj ploči ili putem API-ja s byok_only=true. Dodao je i zaglavlje po zahtjevu, cf-aig-no-wholesale, za slučajeve kada timovi žele blokirati veleprodajnu ili korištenje vjerodajnica kojima upravlja Cloudflare za pojedinačne pozive.
Što se promijenilo
Zapisnik promjena AI Gatewaya od 14. rujna uvodi zahtjev vjerodajnica za zahtjeve pružatelja treće strane. Kada je omogućeno, pristupnik se neće tiho vratiti na vjerodajnice objedinjene naplate kojom upravlja Cloudflare ako pozivatelj nije dao prihvatljive vjerodajnice pružatelja usluga.
Ta je razlika važna jer AI pristupnici sve više stoje između mnogih internih aplikacija, vanjskih korisnika i višestrukih modela pružatelja usluga. Ključ koji nedostaje nije samo tehnički kvar. Može odlučiti kojem se pravnom subjektu naplaćuje, koja kvota pružatelja računa se troši i prikazuje li se upotreba u pravom troškovnom centru.
Nova kontrola daje timovima platforme stroži način rada. Umjesto da nedostajuće korisničke vjerodajnice tretira kao neugodnost usmjeravanja, gateway ih može tretirati kao kršenje pravila. To je posebno relevantno za postavke preprodavača, implementacije ključeva u vlasništvu korisnika i poslovna okruženja gdje odnos pružatelja treba ostati izravno povezan s poslovnom jedinicom ili zakupcem.
Zašto je to važno za operatere AI pristupnika
Dizajn AI pristupnika često je usmjeren na usmjeravanje, latenciju, predmemoriju, ponovne pokušaje i apstrakciju modela. Ponašanje pri naplati zaslužuje istu pozornost. Ako pristupnik automatski promijeni način vjerodajnice kada je jedan put nedostupan, nizvodno izvješćivanje može dovesti u zabludu. Zahtjev može izgledati kao običan promet aplikacije dok faktura stigne negdje drugdje.
Za tvrtke koje upravljaju slojem središnje kontrole troškova AI API, to stvara operativni rizik. Financijski timovi mogu izgubiti čiste podatke o storniranju. Sigurnosni timovi možda neće znati koja je vjerodajnica zapravo korištena. Timovi za proizvode možda se bore da objasne zašto je korištenje jednog zakupca naplaćeno putem računa platforme umjesto računa pružatelja tog zakupca.
Način rada samo BYOK također pomaže s obvezama korisnika. Neki kupci zahtijevaju da ugovori s vlastitim davateljem usluga, uvjeti obrade podataka ili regionalne postavke upravljaju modelima poziva. Ako se pristupnik može vratiti na upravljanu vjerodajnicu za naplatu, tu obvezu postaje teže provesti osim ako je zamjena onemogućena pravilima.
Zaglavlje po zahtjevu dodaje detaljniju opciju. Platforma može omogućiti šire ponašanje objedinjene naplate za neka radna opterećenja dok ga sprječava za zahtjeve koji nose strože zahtjeve usklađenosti, preprodavača ili atribucije. To razvojnim programerima daje migracijski put bez prisiljavanja svake aplikacije na najstroži način rada odjednom.
Tko je pogođen
Neposredna publika je bilo koji tim koji koristi Cloudflare AI Gateway za proxy zahtjeve pružateljima AI trećih strana. Promjena je najrelevantnija tamo gdje više timova, stanara ili korisnika dijeli pristupnik i gdje se očekuje da vjerodajnice davatelja budu u vlasništvu izvan računa središnje platforme.
Timovi platforme Enterprise AI trebaju provjeriti odgovara li njihovo ponašanje pristupnika internoj politici. Ako bi projekt trebao koristiti vlastiti račun OpenAI, Anthropic, Google, Mistral ili nekog drugog pružatelja usluga, pristupnik bi tu ovisnost trebao učiniti vidljivom i provedivom. Zamjena koja pomaže da demonstracija uspije može postati problem u proizvodnji ako skriva pokvarene postavke vjerodajnica.
Prodavači i partnerske platforme imaju oštriju verziju istog problema. Ako korisnici donesu vlastite ključeve pružatelja usluga, operateri platforme trebaju biti sigurni da se promet slučajno ne pretvara u korištenje koje se naplaćuje platformi. U suprotnom, to može utjecati na marže, fakture, revizijske zapise i povjerenje kupaca.
Programeri su također pogođeni, iako uglavnom kroz jasnije načine neuspjeha. S provedbom samo BYOK, zahtjev koji nema odgovarajuće vjerodajnice trebao bi biti neuspješan umjesto da se usmjerava kroz alternativni put naplate.To može zahtijevati bolje onboarding provjere, jasnije rukovanje pogreškama i testove implementacije koji provjeravaju ključeve pružatelja usluga prije nego što se promet pokrene.
Praktične posljedice
Prvi praktični korak je inventar pravila. Timovi bi trebali odlučiti kojim radnim opterećenjima je dopušteno koristiti objedinjenu naplatu kojom upravlja Cloudflare, a koja moraju koristiti vjerodajnice dobavljača u vlasništvu korisnika ili projekta. Ta odluka treba biti eksplicitna, a ne prepuštena ponašanju zadanog pristupnika.
Drugi korak je vidljivost. Dnevnici i analitika korištenja trebali bi zabilježiti koji je način vjerodajnice korišten, je li zahtjev blokiran jer je omogućen samo BYOK i koji je stanar ili projekt dao ključ. Bez te vidljivosti, stroža kontrola može smanjiti dvosmislenost naplate, ali i dalje ostaviti operatere s lošim podacima o rješavanju problema.
Treći korak je tijek rada razvojnog programera. Aplikacije koje ovise o AI Gatewayu trebale bi rano otkazati kada nedostaju vjerodajnice. Provjera pri pokretanju, provjera valjanosti implementacije ili upozorenje administratorske konzole bolji su od otkrivanja problema nakon što je proizvodni zahtjev odbijen.
Preostala nesigurnost manje je vezana uz samu značajku, a više u obrasce usvajanja. Cloudflare je dokumentirao novu kontrolu, ali svaki operater još mora odlučiti gdje će je primijeniti. Neki će timovi više voljeti otpornost rezervne naplate za interne eksperimente. Drugi će BYOK-only postaviti kao zadani promet zakupaca proizvodnje. Važna promjena je da je ovo sada izbor upravljanja, a ne implicitno ponašanje skriveno unutar sloja usmjeravanja.