Cloudflare je izdal Auto Router v javni različici beta za AI Gateway, pri čemer je dodal samodejno izbiro modela svoji prehodni plasti, namesto da bi vsako odločitev o usmerjanju prepustil kodi aplikacije. Nova funkcija ovrednoti vsako zahtevo, oceni vrsto zahtevane naloge in izbere primerne modele z uporabo pričakovane kakovosti, cene žetona, zakasnitve in signalov razpoložljivosti.

Izdaja je pomembna, ker usmerjanje modela postaja osrednji del infrastrukture AI v podjetju. Za ekipe, ki uporabljajo več ponudnikov, težka težava ni več le pridobivanje dostopa do modelov. Odloča se, kateri model naj obravnava dano zahtevo, pod kakšnimi omejitvami stroškov in zakasnitve, z dovolj preglednosti, da se odločitev pozneje razloži.

Odgovor Cloudflare je, da vnese več te logike v prehod AI. Auto Router lahko najprej preizkusi izbrani model in se vrne na drug primeren model, če ponudnik ne more izpolniti zahteve. Zaradi tega je prehod točka pravilnika in izvajanja, ne le prehodni posrednik za API klice.

Kaj se je spremenilo

Pred to izdajo je veliko skupin izbiralo model v kodi aplikacije, ogrodjih orkestracije ali storitvah usmerjanja po meri. Ta pristop lahko deluje, vendar ustvarja ponavljajoče se inženirsko delo v izdelkih in skupinah. Vsaka aplikacija mora kodirati stroškovna pravila, nastavitve modela, nadomestno vedenje in ravnanje, specifično za ponudnika.

Auto Router premakne del te odločitve v Cloudflare AI Gateway. Cloudflare pravi, da usmerjevalnik uporablja klasifikator, ki je nameščen na robu, da oceni vrsto in kompleksnost naloge. Nato oceni primerne modele na podlagi več praktičnih razsežnosti: pričakovana kakovost odziva, cena žetona, zakasnitev in ali je model na voljo za oskrbo zahteve.

Ta kombinacija je pomembna. Preprosto pravilo usmerjanja, kot je "najprej uporabi najcenejši model", lahko pri težjih nalogah poslabša kakovost izpisa. Pravilo, ki vedno pošilja promet v mejni model, lahko zapravi proračun za rutinska opravila razvrščanja, ekstrakcije, prepisovanja ali oblikovanja. Samodejni usmerjevalnik je zasnovan tako, da naredi kompromisno zahtevo za zahtevo, medtem ko še vedno deluje znotraj nabora modelov, ki jih je skupina dovolila.

Nadomestno vedenje spremeni tudi sliko delovanja. Če izbrani ponudnik ne more izpolniti zahteve, lahko AI Gateway poskusi uporabiti drug primeren model. Za proizvodne sisteme lahko to zmanjša vpliv izpadov ponudnika, omejitev hitrosti ali prehodnih okvar zmogljivosti. Pomeni tudi, da morajo ekipe skrbno razmisliti o tem, kaj pomeni »primeren«, ker se nadomestni model lahko razlikuje glede na vedenje, stroške, zakasnitev, kontekstno okno ali varnostni profil.

Zakaj je pomemben za nadzor stroškov

Porabo LLM vedno bolj oblikujejo odločitve o usmerjanju. Ista uporabniška funkcija lahko vključuje kratke pozive, dolge pozive, predpomnjeni kontekst, klice orodij, ustvarjanje kode in opravila v ozadju z nizkim tveganjem. Pošiljanje vsega tega prometa enemu modelu je preprosto, a redko ekonomično.

Auto Router odraža širši premik k AI API nadzoru stroškov na ravni prehoda. Namesto da bi izbiro modela obravnavali kot izključno izbiro v lasti razvijalca, jo lahko podjetja začnejo upravljati kot skupno skrb za platformo. To je še posebej pomembno za organizacije z več skupinami, ki gradijo funkcije umetne inteligence poleg istih računov ponudnika.

Praktični učinek ni zajamčen prihranek pri vsaki uvedbi. Cloudflare pravi, da lahko Auto Router zmanjša porabo umetne inteligence ob ohranjanju zmogljivosti, vendar bodo dejanski rezultati odvisni od mešanice delovne obremenitve, dovoljenih modelov, pragov kakovosti, vzorcev pozivov in tolerance za zamenjavo ponudnika. Podjetje, ki izvaja pretežno težke delovne obremenitve sklepanja, bo morda imelo manj koristi kot podjetje z velikim obsegom rutinskega povzemanja, ekstrakcije, razvrščanja in avtomatizacije podpore.

Kljub temu je smer jasna.Optimizacija stroškov se vse manj nanaša na ročno izbiro enega modela in bolj na določanje omejitev: kateri modeli so odobreni, kdaj se lahko uporabljajo cenejši modeli, kdaj so potrebni vrhunski modeli in kdaj je sprejemljiva nadomestna različica.

Koga to zadeva

Razvijalci, ki gradijo aplikacije z več modeli, so najbolj neposredna publika. Auto Router lahko zmanjša količino usmerjevalne kode, ki jo morajo vzdrževati, še posebej, če aplikacije že stojijo za Cloudflare AI Gateway. Namesto da bi vsako nalogo povezovali s fiksnim modelom, lahko ekipe definirajo primeren nabor modelov in prepustijo prehodu, da se odloči znotraj teh meja.

To vpliva na platformo in infrastrukturne ekipe, ker prehod postaja nadzorna ravnina umetne inteligence. Odločiti se bodo morali, ali so politike usmerjanja globalne, specifične za projekt, specifično okolje ali povezane s tveganjem izdelka. Bot za podporo strankam, notranji pomočnik za kodiranje in potek dela za skladnost ne bi smeli nujno imeti istega vedenja samodejnega usmerjanja.

Finančne in operativne ekipe imajo prav tako delež. Če samodejno usmerjanje spremeni model, ki obravnava zahtevo, mora pripisovanje stroškov ostati jasno. Nižji mešani žetonski račun je uporaben le, če lahko ekipe še vedno razumejo, kateri izdelki, stranke, projekti ali API ključi so ustvarili porabo. Tu postaneta analitika uporabe in označevanje enako pomembna kot sama odločitev o usmerjanju.

B2B LLM Stranke in uporabniki podobnih platform bi morali prebrati izdajo kot del večjega tržnega gibanja. Vse pogosteje se pričakuje, da bo poenoten dostop API vključeval upravljanje, analitiko, nadzor proračuna in politiko usmerjanja. Katalog modelov je samo ena plast; operativna pravila okoli tega kataloga postajajo glavna razlika.

Praktične posledice

Prva posledica je oblikovanje politike. Ekipe, ki sprejemajo samodejno usmerjanje, morajo dokumentirati, katere delovne obremenitve lahko dopuščajo zamenjavo modela. Notranje povzemanje je lahko majhno tveganje. Analiza pogodbe, regulirana komunikacija s strankami, spremembe kode ali uporaba agentskega orodja lahko zahtevajo strožje omejitve in izrecni pregled.

Drugo je testiranje. Zaradi samodejnega usmerjanja je vrednotenje bolj pomembno, ne manj. Ekipe bi morale primerjati izhode med primernimi modeli, ki jih omogočajo, zlasti za robne primere, dolge pozive, strukturirane izhode, varnostno občutljive zahteve in domensko specifično terminologijo. Če lahko prehod izbira med modeli, mora nabor ocenjevanja pokrivati ​​celoten nabor poti in ne en sam privzeti model.

Tretje je opazljivost. Razvijalci potrebujejo dnevnike, ki prikazujejo, kateri model je bil izbran, ali je prišlo do zamenjave, kakšna je bila zakasnitev in uporaba žetona ter kako so bili dodeljeni stroški. Brez tega zapisa je lahko samodejno usmerjanje težko odpraviti, ko uporabnik poroča o spremenjenem vedenju ali ko finančna ekipa vpraša, zakaj je bil račun premaknjen.

Četrtič je disciplina pri nabavi. Samodejni usmerjevalnik lahko olajša dodajanje novih ponudnikov ali modelov, vendar vsak dodatek razširi površino politike. Podjetja se morajo odločiti, ali je model odobren za eksperimentiranje, notranje delovne obremenitve, produkcijski promet strank, občutljive podatke ali regulirano uporabo. Te kategorije bi se morale odražati v konfiguraciji prehoda, ne pa zakopane v neformalnih konvencijah skupine.

Kar ostaja negotovo

Največje odprto vprašanje je, kako uspešen je Auto Router pri dejanskih delovnih obremenitvah podjetja. Cloudflare je opisal zasnovo in predvidene prihranke, vendar bodo rezultati proizvodnje različni. Usmerjevalnik, ki dobro deluje pri splošnih pozivih, bo morda potreboval skrbno prilagoditev specializiranih kodnih osnov, pravnega jezika, medicinske vsebine, finančne analize ali znanja, specifičnega za podjetje.

Prav tako ni jasno, kako bodo ekipe uravnotežile samodejno optimizacijo s predvidljivostjo. Nekatera podjetja bodo morda pozdravila zamenjavo modela zaradi stroškov in odpornosti. Drugi imajo morda raje stabilno vedenje modela zaradi revizije, ocenjevanja ali izkušenj strank.Verjetni rezultat ni ena univerzalna politika, temveč večplastni nadzor: strogo usmerjanje za občutljive poteke dela, prilagodljivo usmerjanje za rutinska opravila in ločeni poskusi za nove kandidate za modele.

Izdaja Cloudflare je še vedno pomembna, ker označuje jasno usmeritev izdelka. Usmerjanje z več modeli ni več le vzorec arhitekture aplikacije. Postaja funkcija upravljanega prehoda, kar bo dvignilo pričakovanja za vsako platformo umetne inteligence, ki trdi, da pomaga podjetjem nadzorovati stroške, zanesljivost in upravljanje med modeli.