Cloudflare pridal do AI Gateway ovládací prvok, ktorý umožňuje operátorom vyžadovať poverenia poskytovateľa pri modelových požiadavkách tretích strán. Zmena je malá, pokiaľ ide o rozhranie, ale rieši praktický problém riadenia pre tímy smerujúce prevádzku AI cez bránu: čo by sa malo stať, keď zákazník, projekt alebo nájomca neposkytol platný kľúč poskytovateľa?
Pred touto aktualizáciou mohla služba Cloudflare AI Gateway používať nastavenie zjednotenej fakturácie ako záložnú cestu pre podporovaných poskytovateľov tretích strán. To môže byť výhodné, keď by inak žiadosť zlyhala, ale môže to tiež rozmazať hranice pripisovania nákladov a dodržiavania predpisov. Nové nastavenie BYOK-only umožňuje vlastníkom brán zabrániť tejto núdzovej situácii a vyžadovať, aby žiadosti namiesto toho používali explicitne poskytnuté prihlasovacie údaje s vlastným kľúčom.
Cloudflare hovorí, že toto nastavenie možno povoliť na paneli alebo prostredníctvom rozhrania API pomocou byok_only=true. Pridala tiež hlavičku pre každú požiadavku, cf-aig-no-wholesale, pre prípady, keď tímy chcú blokovať veľkoobchodné alebo cloudflare spravované používanie poverení pri jednotlivých hovoroch.
Čo sa zmenilo
Zmenový protokol AI Gateway zo 14. septembra zavádza požiadavku na poverenia pre žiadosti poskytovateľov tretích strán. Keď je táto povolená, brána sa v tichosti nevráti k povereniam zjednotenej fakturácie spravovanej Cloudflare, ak volajúci neposkytol prijateľné poverenia poskytovateľa.
Na tomto rozdiele záleží, pretože brány umelej inteligencie sa čoraz častejšie nachádzajú medzi mnohými internými aplikáciami, externými zákazníkmi a viacerými modelovými poskytovateľmi. Chýbajúci kľúč nie je len režimom technickej poruchy. Môže rozhodnúť, ktorej právnickej osobe sa bude fakturovať, pre ktorý účet sa spotrebuje kvóta poskytovateľa a či sa využitie objaví v správnom nákladovom stredisku.
Nové ovládanie poskytuje tímom platforiem prísnejší prevádzkový režim. Namiesto toho, aby sa chýbajúce prihlasovacie údaje zákazníka považovali za nepríjemnosť pri smerovaní, brána ich môže považovať za porušenie pravidiel. To je obzvlášť dôležité pre nastavenia predajcov, nasadenia kľúčov vlastnených zákazníkmi a podnikové prostredia, kde musí vzťah poskytovateľa zostať priamo spojený s obchodnou jednotkou alebo nájomcom.
Prečo je to dôležité pre prevádzkovateľov brán AI
Návrh brán AI sa často zameriaval na smerovanie, latenciu, ukladanie do vyrovnávacej pamäte, opakované pokusy a abstrakciu modelu. Fakturačné správanie si zaslúži rovnakú pozornosť. Ak brána automaticky zmení režim poverení, keď jedna cesta nie je k dispozícii, následné hlásenie môže byť zavádzajúce. Požiadavka môže vyzerať ako bežná prevádzka aplikácie, zatiaľ čo faktúra pristane niekde inde.
Pre firmy prevádzkujúce centrálnu vrstvu riadenia nákladov AI API, ktorá vytvára prevádzkové riziko. Finančné tímy môžu prísť o čisté údaje o kompenzácii. Bezpečnostné tímy nemusia vedieť, ktoré poverenia boli skutočne použité. Produktové tímy môžu mať problém vysvetliť, prečo bolo používanie jedného nájomníka fakturované prostredníctvom účtu platformy namiesto účtu vlastného poskytovateľa tohto nájomníka.
Režim iba BYOK tiež pomáha so záväzkami zákazníkov. Niektorí kupujúci požadujú, aby modelové hovory riadili zmluvy s ich vlastným poskytovateľom, podmienky spracovania údajov alebo regionálne nastavenia. Ak sa brána môže vrátiť k povereniu spravovanej fakturácie, tento záväzok sa bude ťažšie presadzovať, pokiaľ pravidlo nezakáže núdzový postup.
Hlavička pre každú požiadavku pridáva podrobnejšiu možnosť. Platforma môže zachovať dostupnosť širšieho správania zjednotenej fakturácie pre niektoré pracovné zaťaženia a zároveň mu zabrániť v prípade žiadostí, ktoré obsahujú prísnejšie požiadavky na súlad, predajcu alebo pripisovanie. Vývojárom to poskytuje cestu migrácie bez toho, aby bola každá aplikácia vynútená naraz do najprísnejšieho režimu.
Koho sa to týka
Bezprostredným publikom je akýkoľvek tím, ktorý používa bránu Cloudflare AI na proxy požiadavky poskytovateľom AI tretích strán. Táto zmena je najrelevantnejšia tam, kde viaceré tímy, nájomcovia alebo zákazníci zdieľajú bránu a kde sa očakáva, že poverenia poskytovateľa budú vlastniť mimo účtu centrálnej platformy.
Tímy podnikovej platformy AI by mali skontrolovať, či ich správanie brány zodpovedá interným pravidlám. Ak má projekt používať svoj vlastný účet OpenAI, Anthropic, Google, Mistral alebo iného poskytovateľa, brána by mala túto závislosť zviditeľniť a vynútiť. Záložné riešenie, ktoré pomáha demu uspieť, sa môže stať problémom v produkcii, ak skryje nefunkčné nastavenie poverení.
Pre predajcov a partnerské platformy existuje ostrejšia verzia rovnakého problému. Ak si zákazníci prinesú svoje vlastné kľúče poskytovateľa, operátori platformy potrebujú istotu, že prevádzka nie je náhodne prevedená na používanie účtovanú platformou. V opačnom prípade môžu byť ovplyvnené marže, faktúry, záznamy auditu a dôvera zákazníkov.
Týka sa to aj vývojárov, aj keď väčšinou prostredníctvom jasnejších režimov zlyhania. Pri presadzovaní iba BYOK by žiadosť, ktorej chýbajú správne poverenia, mala zlyhať a nemala by smerovať cez alternatívnu fakturačnú cestu.To si môže vyžadovať lepšie kontroly registrácie, jasnejšie spracovanie chýb a testy nasadenia, ktoré overia kľúče poskytovateľa pred spustením prevádzky.
Praktické dôsledky
Prvým praktickým krokom je inventár pravidiel. Tímy by sa mali rozhodnúť, ktoré pracovné zaťaženia môžu používať zjednotenú fakturáciu spravovanú Cloudflare a ktoré musia používať poverenia poskytovateľa vlastnené zákazníkom alebo projektom. Toto rozhodnutie by malo byť explicitné a nemalo by byť ponechané na správanie predvolenej brány.
Druhým krokom je pozorovateľnosť. Protokoly a analýzy používania by mali zaznamenávať, ktorý režim poverení bol použitý, či bola požiadavka zablokovaná, pretože bolo povolené iba BYOK, a ktorý nájomca alebo projekt dodal kľúč. Bez tejto viditeľnosti môže prísnejšia kontrola znížiť nejednoznačnosť fakturácie, no operátori budú mať stále slabé údaje o riešení problémov.
Tretím krokom je pracovný postup vývojárov. Aplikácie, ktoré sú závislé od AI Gateway, by mali zlyhať skôr, keď chýbajú poverenia. Kontrola spustenia, overenie nasadenia alebo upozornenie v správcovskej konzole je lepšie ako objavenie problému po odmietnutí produkčnej požiadavky.
Zostávajúca neistota sa týka menej samotnej funkcie, ale skôr vzorcov prijatia. Cloudflare zdokumentoval nové ovládanie, no každý operátor sa ešte musí rozhodnúť, kde ho uplatní. Niektoré tímy uprednostnia odolnosť záložnej fakturácie pre interné experimenty. Iní nastavia iba BYOK ako predvolenú pre prevádzku produkčného nájomcu. Dôležitou zmenou je, že toto je teraz skôr voľba riadenia než implicitné správanie skryté vo vrstve smerovania.