Vercel je dodal Microsoft Decision-1 v prehod AI Gateway, s čimer je razširil majhno, a pomembno kategorijo modelov, zgrajenih za vneseno klasifikacijo, usmerjanje in točkovanje namesto generiranja odprtega besedila.

Izdaja 9. oktobra pomeni, da lahko razvijalci pokličejo model prek Vercelove AI SDK odločitve API, OpenAI-združljive odločitve API ali Združljivo s TypeSafe API z uporabo imena modela microsoft/microsoft-decision-1. Vercel pravi, da uporabniki potrebujejo le ključ AI Gateway API, brez ločenega računa Azure ali uvedbe.

Sprememba je ozka v smislu izdelka, vendar kaže na širši premik v tem, kako se infrastruktura aplikacij AI deli. Vse večji delež produkcijskega dela z umetno inteligenco ni klepet. Odloča se, ali je prijava za podporo povezana z zaračunavanjem ali tehnična, ali naj se potek dela premakne na naslednji korak, ali odgovor AI ustreza rubriki ali kateri nadaljnji model naj obravnava zahtevo. Decision-1 daje tem delovnim obremenitvam bolj jasen vmesnik.

Kaj se je spremenilo

Decision-1 je zasnovano tako, da odgovarja na vnesena vprašanja o besedilu. Namesto da bi vrnil razlago v prosti obliki, Vercel pravi, da lahko vrne verjetnosti, izbire in rezultate. Zaradi tega je primeren za naloge, pri katerih aplikacija potrebuje strukturiran odgovor, ki ga lahko uporabi takoj.

Vercel kot primer uporabe navaja klasifikacijo zahtev za podporo, izbiro korakov delovnega toka in oceno rubrike odziva AI. To niso glamurozne aplikacije, vendar so pogoste v podjetniških sistemih AI. Ponavadi so tudi na kritični poti stroškov, zakasnitev in odločitev o kakovosti.

Pomembna je embalaža prehoda. Z razkritjem Decision-1 prek prehoda AI Gateway Vercel omogoča dostop do modela prek iste vrste nadzorne površine, ki jo razvijalci že uporabljajo za druge klice AI. Za ekipe, ki se standardizirajo na OpenAI-združljivem API prehodu, ki zmanjša operativno trenje pri testiranju odločitvenega modela brez ustvarjanja druge poti računa ponudnika.

Prav tako sledi nedavni potezi OpenAI, da loči tipkane odločitvene klice od splošnih generativnih klicev. Bistvo ni le v tem, da je na voljo drug model. Gre za to, da postaja kategorija vmesnikov vse bolj vidna pri ponudnikih in prehodih.

Zakaj so vneseni klici odločanja pomembni

Večina platform LLM je bila prvotno organizirana okoli klepeta z ustvarjanjem žetonov in zaključnih klicev. Ta oblika ni vedno idealna za klasifikacijo, usmerjanje, vrednotenje in preverjanje pravilnika. Sistem morda potrebuje omejen odgovor, oceno zaupanja ali majhen nabor dovoljenih izbir, ne pa odstavka.

Vtipkani odločitveni modeli lahko olajšajo razmišljanje o teh klicih. Če aplikacija vpraša, ali dohodno sporočilo spada v eno od petih kategorij, je strukturiran odgovor z verjetnostmi lažje zabeležiti, primerjati in revidirati kot odgovor v naravnem jeziku, ki ga je treba naknadno razčleniti.

Ta razlika postane pomembnejša, ko postajajo sistemi AI bolj avtomatizirani. Odločitev o usmerjanju lahko določi, ali gre zahteva na poceni model, vrhunski model, čakalno vrsto za človeški pregled ali blokirano pot. Ocena rubrike lahko določi, ali je stranki prikazan odgovor, ki ga ustvari umetna inteligenca. Klasifikator se lahko odloči, katera ekipa prejme primer podpore.

Za razvijalce je praktična posledica arhitekturna. Odločitvenih klicev ne bi smeli obravnavati le kot kratke pozive za klepet. So ločena vrsta delovne obremenitve z različnimi pričakovanji glede zakasnitve, determinizma, opazljivosti in pripisovanja stroškov. V zrelem skladu bi morali biti ti klici vidni na nadzornih ploščah skupaj s klepetom, slikami, videoposnetki, vdelavami in prometom agentov.

Kdo je prizadet

Neposredno občinstvo so razvijalci, ki že uporabljajo Vercel AI Gateway ali Vercelov AI SDK.Preizkusijo lahko Decision-1, ne da bi nastavili ločeno uvedbo Azure, kar zmanjša trud, potreben za primerjavo z drugimi modeli, ki omogočajo odločanje.

Ekipe za izdelke in platforme lahko občutijo vpliv širše. Če ima podjetje na desetine delovnih procesov z umetno inteligenco, klasifikacija in usmerjanje klicev pogosto postaneta skrita infrastruktura. Lahko so vgrajeni v avtomatizacijo podpore, prodajne operacije, moderiranje vsebine, notranje agente ali cevovode za vrednotenje. Ko se ti klici premaknejo na prehod, jih lahko skupine začnejo upravljati kot prvorazredni razred prometa.

To ima jasne posledice za LLM API dodeljevanje stroškov. Odločitveni klici so lahko posamezno cenejši od dolgih generativnih klicev, vendar lahko potekajo z veliko večjo glasnostjo. Podporna platforma lahko razvrsti vsako dohodno sporočilo. Agentski sistem lahko oceni več možnih naslednjih korakov za vsako nalogo. Cevovod za nadzor kakovosti lahko oceni vsak ustvarjen odgovor pred izdajo.

Za podjetja, ki uporabljajo notranje platforme v slogu B2B LLM, je lekcija enostavna: promet odločitev je treba označevati, meriti in upravljati ločeno, kjer je to mogoče. Če so vse zahteve umetne inteligence strnjene v eno generično vedro porabe LLM, ekipe izgubijo možnost, da vidijo, ali stroški izvirajo iz generiranja, usmerjenega v uporabnike, usmerjanja v ozadju, vrednotenja ali samodejnih preverjanj pravilnikov.

Praktične posledice za skupine platforme AI

Dodajanje Decision-1 bi moralo ekipe platforme spodbuditi, da ponovno preučijo, kako interno modelirajo delovne obremenitve AI. Večmodelni AI API prehod ne pomeni več le zamenjave enega modela klepeta z drugim. Vse bolj mora podpirati različne razrede opravil: generiranje, pridobivanje, ustvarjanje slik in videoposnetkov, uporabo orodij agentov, paketno obdelavo in zdaj tipkane odločitvene klice.

To vpliva na beleženje. Sledi zahtevam ne bi smele zajeti le ponudnika in modela, temveč tudi vrsto opravila, vhodni razred, vrnjeno izbiro, zaupanje, zakasnitev in dejanje na nižji stopnji. Če model odločanja nepravilno usmeri težavo stranke, potrebujejo ekipe način, kako rekonstruirati, kaj se je zgodilo.

To vpliva tudi na vrednotenje. Natančnost vtipkanega odločitvenega modela se meri drugače kot kakovost odgovora pri klepetalnem robotu. Ekipe bodo potrebovale označene nabore podatkov, matrike zmede, testiranje pragov in načrte za povrnitev. Model, ki dobro deluje pri triagiranju vozovnic za zaračunavanje, morda ni zanesljiv za klasifikacijo, ki je občutljiva na skladnost.

Vpliva tudi na naročila in politiko. Če odločitveni modeli postanejo cenejše ali hitrejše alternative popolnim klicem LLM, bodo inženirske ekipe morda zamikale, da bi jih široko uporabljali. To je lahko smiselno, vendar le, če lahko skrbniki vidijo uporabo glede na projekt, ključ, okolje in potek dela. V nasprotnem primeru lahko funkcija nizkocenovne nadzorne ravnine postane še ena nesledena odvisnost.

Kaj ostaja negotovo

Vercelova objava določa razpoložljivost in podprte dostopne poti, vendar ne odgovarja na vsa produkcijska vprašanja. Javne podrobnosti o primerjalni uspešnosti, načinih napak, obnašanju cen pri različnih delovnih obremenitvah in kako Decision-1 se primerjajo z drugimi možnostmi vnesenih odločitev v resničnih naborih podatkov podjetja, so še vedno omejene.

Obstaja tudi vprašanje upravljanja. Odločitveni modeli se pogosto uporabljajo tam, kjer rezultat sproži dejanje. Zaradi tega so pragovi zaupanja in politike človeškega pregleda pomembnejši od samega imena modela. Podjetja bi morala testirati Decision-1 glede na lastne podatke, preden se zanašajo nanje za usmerjanje, pravilnike ali poteke dela ocenjevanja, ki vplivajo na stranke ali regulirane procese.

Večji signal je jasnejši: tipkani odločitveni klici postajajo del glavne infrastrukture umetne inteligence. Ker prehodi dodajajo modele, kot je Microsoft Decision-1, bodo morala podjetja upravljati promet odločanja z enako disciplino, kot že uporabljajo za dostop do generativnega modela, poročanje o porabi in API-ključno upravljanje.