Cloudflare on väljastanud automaatse ruuteri avaliku beetaversiooni AI Gateway jaoks, lisades automaatse mudelivaliku oma lüüsikihti, selle asemel, et jätta iga marsruutimise otsus rakenduse koodi hooleks. Uus funktsioon hindab iga taotlust, hindab küsitava ülesande laadi ja valib sobivate mudelite hulgast, kasutades eeldatava kvaliteedi, märgi maksumuse, latentsusaja ja saadavuse signaale.

Väljalask on oluline, sest mudeli marsruutimisest on saamas ettevõtte AI infrastruktuuri põhiosa. Mitut pakkujat kasutavate meeskondade jaoks pole raske probleem enam ainult mudelitele juurdepääsu saamine. See otsustab, milline mudel peaks antud päringut käsitlema, milliste kulu- ja latentsuspiirangute korral, nii et see oleks piisavalt nähtav, et otsust hiljem selgitada.

Cloudflare'i vastus on panna seda loogikat rohkem AI Gateway sisse. Automaatne ruuter võib esmalt proovida valitud mudelit ja pöörduda tagasi mõne teise sobiliku mudeli juurde, kui pakkuja ei saa taotlust esitada. See muudab lüüsi reegliks ja täitmispunktiks, mitte ainult API kõnede läbipääsupuhverserveriks.

Mis muutus

Enne seda väljalaset tegelesid paljud meeskonnad mudelivalikuga rakenduse koodis, orkestreerimisraamistikes või kohandatud marsruutimisteenustes. See lähenemisviis võib toimida, kuid see loob korduva inseneritöö toodete ja meeskondade vahel. Iga rakendus peab kodeerima kulureeglid, mudelieelistused, varukäitumise ja teenusepakkujapõhise käsitsemise.

Automaatne ruuter viib osa sellest otsusest Cloudflare AI Gatewaysse. Cloudflare ütleb, et ruuter kasutab ülesande tüübi ja keerukuse hindamiseks servajuurutatud klassifikaatorit. Seejärel hindab see sobilikke mudeleid mitme praktilise mõõtme põhjal: eeldatav vastuse kvaliteet, märgi hind, latentsusaeg ja see, kas mudel on päringu teenindamiseks saadaval.

See kombinatsioon on märkimisväärne. Lihtne marsruutimisreegel, näiteks „kasuta kõigepealt odavaimat mudelit”, võib raskemate ülesannete puhul väljundkvaliteeti halvendada. Reegel, mis saadab liikluse alati piirimudelile, võib raisata eelarve rutiinsetele klassifitseerimis-, ekstraheerimis-, ümberkirjutamis- või vormindamistöödele. Automaatne ruuter on loodud kompromissi taotluse esitamiseks, töötades samal ajal mudelite komplektis, mille meeskond on lubanud.

Varukäitumine muudab ka tööpilti. Kui valitud teenusepakkuja ei saa päringut esitada, võib AI Gateway proovida teist sobilikku mudelit. Tootmissüsteemide puhul, mis võivad vähendada teenusepakkuja katkestuste, kiiruspiirangute või mööduvate võimsustõrgete mõju. See tähendab ka seda, et meeskonnad peavad hoolikalt läbi mõtlema, mida tähendab „sobilik”, sest varumudel võib käitumise, kulu, latentsusaja, kontekstiakna või ohutusprofiili poolest erineda.

Miks on see kulude kontrolli jaoks oluline

LLM-i kulutusi kujundavad üha enam marsruutimisotsused. Sama kasutajale suunatud funktsioon võib hõlmata lühikesi viipasid, pikki viipasid, vahemällu salvestatud konteksti, tööriistakutseid, koodi genereerimist ja madala riskitasemega taustatöid. Kogu selle liikluse ühele mudelile saatmine on lihtne, kuid harva ökonoomne.

Automaatne ruuter peegeldab laiemat nihet AI API kulukontrolli lüüsi tasemel. Selle asemel, et käsitleda mudelivalikut puhtalt arendaja omanduses oleva valikuna, võivad ettevõtted hakata seda haldama ühise platvormi murena. See on eriti oluline organisatsioonide puhul, kus on mitu meeskonda, kes loovad tehisintellekti funktsioone samade pakkujakontode peale.

Praktiline tulemus ei ole säästmine iga juurutamise korral garanteeritud. Cloudflare ütleb, et automaatne ruuter võib vähendada tehisintellekti kulutusi, säilitades samal ajal jõudluse, kuid tegelikud tulemused sõltuvad töökoormuse kombinatsioonist, lubatud mudelitest, kvaliteedilävedest, viipade mustritest ja pakkuja vahetamise sallivusest. Ettevõte, kellel on enamasti keeruline arutluskoormus, võib näha vähem kasu kui ettevõte, kus on palju rutiinset kokkuvõtet, ekstraheerimist, klassifitseerimist ja automatiseerimist.

Isegi nii on suund selge.Kulude optimeerimine on muutumas vähem ühe mudeli käsitsi valimiseks ja rohkem piirangute määratlemiseks: millised mudelid on heaks kiidetud, millal võib kasutada odavamaid mudeleid, millal on vaja esmaklassilisi mudeleid ja millal on vastuvõetav varumudelid.

Keda see mõjutab

Mitme mudeliga rakendusi loovad arendajad on kõige otsesem vaatajaskond. Automaatne ruuter võib vähendada hooldatava marsruutimiskoodi hulka, eriti kui rakendused asuvad juba Cloudflare AI Gateway taga. Selle asemel, et ühendada iga ülesanne fikseeritud mudeliga, saavad meeskonnad määratleda sobiliku mudelikomplekti ja lasta lüüsil nende piiride piires otsustada.

Platvormi ja infrastruktuuri meeskondi mõjutab see, sest lüüsist on saamas AI juhtimistasand. Nad peavad otsustama, kas marsruutimispoliitikad on globaalsed, projektipõhised, keskkonnaspetsiifilised või seotud tooteriskiga. Klienditoe bot, sisemine kodeerimisassistent ja vastavuse töövoog ei peaks tingimata jagama sama automaatset marsruutimiskäitumist.

Samuti on kaasatud rahandus- ja operatsioonimeeskonnad. Kui automaatne marsruutimine muudab taotlust käsitlevat mudelit, peab kulude omistamine olema selge. Väiksem kombineeritud märgiarve on kasulik ainult siis, kui meeskonnad saavad siiski aru, millised tooted, kliendid, projektid või API võtmed kulutasid. Siin muutuvad kasutusanalüütika ja sildistamine sama tähtsaks kui marsruudiotsus ise.

B2B LLM Kliendid ja sarnaste platvormide kasutajad peaksid väljalaset lugema osana suuremast turuliikumisest. Üha enam eeldatakse, et ühtne API juurdepääs hõlmab juhtimist, analüüsi, eelarvekontrolli ja marsruutimispoliitikat. Mudelikataloog on ainult üks kiht; kataloogi ümbritsevad tööreeglid on muutumas eristavaks näitajaks.

Praktilised tagajärjed

Esimene tagajärg on poliitika kujundamine. Automaatset marsruutimist kasutavad meeskonnad peaksid dokumenteerima, millised töökoormused taluvad mudeli asendamist. Sisemine kokkuvõte võib olla madala riskiga. Lepinguanalüüs, reguleeritud kliendisuhtlus, koodimuudatused või agentide tööriistade kasutamine võivad nõuda rangemaid piiranguid ja selget ülevaatamist.

Teine on testimine. Automaatne marsruutimine muudab hindamise olulisemaks, mitte vähem tähtsaks. Meeskonnad peaksid võrdlema nende lubatud mudelite väljundeid, eriti äärmuslike juhtumite, pikkade viipade, struktureeritud väljundi, ohutustundlike päringute ja domeenispetsiifilise terminoloogia puhul. Kui lüüs võib valida mudelite vahel, peaks hindamiskomplekt katma kogu marsruudikomplekti, mitte üksikut vaikemudelit.

Kolmas on jälgitavus. Arendajad vajavad logisid, mis näitavad, milline mudel valiti, kas toimus tagavara, milline oli latentsusaeg ja märgikasutus ning kuidas kulud jaotati. Ilma selle kirjeta võib automaatse marsruudi silumine muutuda keeruliseks, kui kasutaja teatab muutunud käitumisest või kui finantstiim küsib, miks arve teisaldati.

Neljas on hankedistsipliin. Automaatne ruuter võib hõlbustada uute pakkujate või mudelite lisamist, kuid iga lisamine laiendab poliitika pinda. Ettevõtted peaksid otsustama, kas mudel on heaks kiidetud katsetamiseks, sisemiseks töökoormuseks, tootmiskliendi liikluseks, tundlikeks andmeteks või reguleeritud kasutamiseks. Need kategooriad peaksid kajastuma lüüsi konfiguratsioonis, mitte olema maetud mitteametlike meeskonnakokkulepete alla.

Mis jääb ebakindlaks

Suurim lahtine küsimus on see, kui hästi automaatne ruuter reaalses ettevõtte töökoormuses toimib. Cloudflare on kirjeldanud disaini ja kavandatud sääste, kuid tootmistulemused on erinevad. Ruuter, mis toimib hästi üldiste viipade jaoks, võib vajada hoolikat häälestamist spetsiaalsete koodibaaside, juriidilise keele, meditsiinilise sisu, finantsanalüüsi või ettevõttepõhise teadmiste osas.

Samuti on ebaselge, kuidas meeskonnad tasakaalustavad automaatse optimeerimise ja prognoositavuse. Mõned ettevõtted võivad kulude ja vastupidavuse huvides mudeli vahetamist tervitada. Teised võivad eelistada stabiilse mudeli käitumist auditi, hindamise või kliendikogemuse huvides.Tõenäoliseks tulemuseks ei ole mitte üks universaalne poliitika, vaid mitmetasandilised kontrollid: ranged marsruutimised tundlike töövoogude jaoks, paindlik marsruutimine rutiinsete tööde jaoks ja eraldi katsed uute mudelikandidaatide jaoks.

Cloudflare'i väljalase on endiselt oluline, kuna see tähistab toote selget suunda. Mitme mudeli marsruutimine ei ole enam lihtsalt rakenduse arhitektuuri muster. Sellest on saamas hallatav lüüsi funktsioon ja see tõstab ootusi igale tehisintellektiplatvormile, mis väidetavalt aitab ettevõtetel kontrollida kulusid, töökindlust ja mudelite juhtimist.