Cloudflare on lisanud AI Gatewayle juhtelemendi, mis võimaldab operaatoritel nõuda kolmanda osapoole mudelipäringutel teenusepakkuja mandaate. Muudatus on liidese osas väike, kuid see lahendab praktilise juhtimisprobleemi meeskondade jaoks, kes suunavad AI-liiklust lüüsi kaudu: mis peaks juhtuma, kui klient, projekt või rentnik ei ole esitanud kehtivat pakkuja võtit?
Enne seda värskendust võis Cloudflare AI Gateway kasutada oma ühtse arvelduse seadistust toetatud kolmandatest osapooltest pakkujate jaoks varuteena. See võib olla mugav, kui taotlus muidu ebaõnnestuks, kuid see võib ka hägustada kulude omistamise ja vastavuse piire. Uus ainult BYOK-i seade võimaldab lüüsi omanikel seda tagavara vältida ja nõuda, et taotluste puhul kasutataks selle asemel selgesõnaliselt kaasasolevat too-oma-võtme mandaati.
Cloudflare ütleb, et seadet saab lubada armatuurlaual või API kaudu koodiga byok_only=true. Samuti lisas see päringupõhise päise cf-aig-no-wholesale juhuks, kui meeskonnad soovivad blokeerida hulgimüügi või Cloudflare'i hallatava mandaadi kasutamise üksikute kõnede puhul.
Mis muutus
14. septembri AI Gateway muudatuste logis kehtestatakse kolmanda osapoole mandaaditaotluse pakkuja nõue. Kui see on lubatud, ei lülitu lüüs vaikselt tagasi Cloudflare'i hallatavate ühtse arvelduse mandaatide juurde, kui helistaja ei ole esitanud vastuvõetavaid teenusepakkuja mandaate.
See eristamine on oluline, kuna AI-lüüsid asuvad üha enam paljude sisemiste rakenduste, väliste klientide ja mitme mudeli pakkuja vahel. Puuduv võti ei ole ainult tehnilise rikke režiim. See võib otsustada, millisele juriidilisele isikule arve esitatakse, millise konto pakkuja kvooti kasutatakse ja kas kasutus kuvatakse õiges kulukeskuses.
Uus juhtelement annab platvormimeeskondadele rangema töörežiimi. Selle asemel, et käsitleda puuduvaid kliendimandaate kui marsruutimise ebamugavust, võib lüüs neid käsitleda eeskirjade rikkumisena. See on eriti oluline edasimüüjate seadistuste, klientidele kuuluvate võtmete juurutamise ja ettevõtte keskkondade puhul, kus teenusepakkuja suhe peab jääma otseselt seotud äriüksuse või rentnikuga.
Miks see on AI lüüsi operaatorite jaoks oluline
AI lüüsi disain on sageli keskendunud marsruutimisele, latentsusele, vahemällu salvestamisele, uuesti proovimisele ja mudelile. Arvelduskäitumine väärib samasugust tähelepanu. Kui lüüs muudab automaatselt mandaadirežiimi, kui üks tee pole saadaval, võib allavoolu aruandlus muutuda eksitavaks. Taotlus võib tunduda tavalise rakenduse liiklusena, samal ajal kui arve jõuab kuhugi mujale.
Ettevõtetele, kes kasutavad keskset AI API kulukontrolli kihti, tekitab see operatsiooniriski. Finantsmeeskonnad võivad kaotada puhtad tagasimakseandmed. Turvameeskonnad ei pruugi teada, millist mandaati tegelikult kasutati. Tootemeeskondadel võib olla raskusi selgitamisega, miks ühe üürniku kasutuse eest arveldati platvormikonto, mitte selle rentniku enda teenusepakkuja konto kaudu.
Ainult BYOK-režiim aitab ka kliendi kohustuste täitmisel. Mõned ostjad nõuavad, et mudelikõnesid reguleeriksid nende enda teenusepakkuja lepingud, andmetöötlustingimused või piirkondlikud seaded. Kui lüüs võib taanduda hallatud arveldusmandaadile, on seda kohustust raskem jõustada, välja arvatud juhul, kui varu on poliitikaga keelatud.
Taotlusepõhine päis lisab üksikasjalikuma valiku. Platvorm võib mõne töökoormuse jaoks hoida laiema ühtse arvelduse käitumise kättesaadavana, takistades samal ajal seda taotluste puhul, mis nõuavad rangemaid vastavus-, edasimüüja- või omistamisnõudeid. See annab arendajatele üleminekutee, ilma et nad sunniksid kõiki rakendusi korraga kõige rangemale režiimile.
Keda see mõjutab
Vahetuslik vaatajaskond on iga meeskond, kes kasutab Cloudflare AI Gateway'i puhverserveri taotluste esitamiseks kolmandatest osapooltest tehisintellekti pakkujatele. Muudatus on kõige asjakohasem, kui mitu meeskonda, rentnikku või klienti jagavad lüüsi ja kus pakkuja mandaadid peaksid kuuluma väljaspool keskse platvormi kontot.
Ettevõtete AI platvormi meeskonnad peaksid üle vaatama, kas nende lüüsi käitumine vastab sisepoliitikale. Kui projekt peaks kasutama oma OpenAI, Anthropic, Google'i, Mistrali või muu pakkuja kontot, peaks lüüs muutma selle sõltuvuse nähtavaks ja jõustatavaks. Varundus, mis aitab demo õnnestuda, võib muutuda tootmises probleemiks, kui see peidab katkise mandaadi seadistuse.
Edasimüüjatel ja partnerplatvormidel on samast probleemist teravam versioon. Kui kliendid toovad oma teenusepakkuja võtmed, vajavad platvormi operaatorid kindlustunnet, et liiklust ei muudeta kogemata platvormi arveldatavaks kasutuseks. Vastasel juhul võivad see mõjutada marginaale, arveid, auditikirjeid ja klientide usaldust.
Mõjutatud on ka arendajaid, kuigi enamasti selgemate tõrkerežiimide kaudu. Ainult BYOK-i jõustamise korral peaks taotlus, millel puuduvad õiged mandaadid, ebaõnnestuma, selle asemel et suunata läbi alternatiivse arveldustee.See võib nõuda paremaid liitumiskontrolle, selgemat vigade käsitlemist ja juurutusteste, mis kontrollivad teenusepakkuja võtmeid enne liikluse käivitamist.
Praktilised tagajärjed
Esimene praktiline samm on poliitika inventuur. Meeskonnad peaksid otsustama, millistel töökoormustel on lubatud kasutada Cloudflare'i hallatavat ühtset arveldust ja millised peavad kasutama kliendi või projekti omanduses olevaid pakkuja mandaate. See otsus peaks olema selgesõnaline, mitte jätma lüüsi vaikekäitumisele.
Teine samm on jälgitavus. Logid ja kasutusanalüütika peaksid salvestama, millist mandaadirežiimi kasutati, kas taotlus blokeeriti, kuna ainult BYOK oli lubatud, ja milline rentnik või projekt võtme andis. Ilma selle nähtavuseta võib rangem kontroll vähendada arveldamise ebaselgust, kuid jätta operaatoritele siiski kehvad veaotsingu andmed.
Kolmas samm on arendaja töövoog. AI Gatewayst sõltuvad rakendused peaksid mandaatide puudumisel varakult üles ütlema. Käivitamise kontroll, juurutamise valideerimine või administraatorikonsooli hoiatus on parem kui probleemi avastamine pärast tootmistaotluse tagasilükkamist.
Jälejäänud ebakindlus puudutab vähem funktsiooni ennast, vaid rohkem kasutuselevõtumustreid. Cloudflare on uue kontrolli dokumenteerinud, kuid iga operaator peab ikkagi otsustama, kus seda rakendada. Mõned meeskonnad eelistavad sisemiste katsete puhul varuarvelduse vastupidavust. Teised muudavad tootmise rentnike liikluse vaikeseadeks ainult BYOK-i. Oluline muudatus on see, et see on nüüd pigem juhtimisvalik kui marsruutimiskihi sisse peidetud kaudne käitumine.