Vercel je dodao Microsoft Decision-1 AI Gatewayu, proširujući malu, ali važnu kategoriju modela izgrađenih za tipiziranu klasifikaciju, usmjeravanje i bodovanje umjesto generiranja otvorenog teksta.
Izdanje od 9. listopada znači da programeri mogu pozivati model putem Vercelove AI SDK odluke API, OpenAI-kompatibilne odluke API ili TypeSafe kompatibilan API koristeći naziv modela microsoft/microsoft-decision-1. Vercel kaže da korisnici trebaju samo ključ AI Gateway API, bez zasebnog Azure računa ili implementacije.
Promjena je uska u smislu proizvoda, ali ukazuje na širi pomak u načinu na koji se infrastruktura aplikacija AI dijeli. Sve veći udio rada AI-ja u proizvodnji nije chat. Odlučuje se je li ulaznica za podršku povezana s naplatom ili je tehnička, treba li tijek rada prijeći na sljedeći korak, zadovoljava li odgovor umjetne inteligencije rubriku ili koji nizvodni model treba obraditi zahtjev. Decision-1 daje tim radnim opterećenjima eksplicitnije sučelje.
Što je promijenjeno
Decision-1 dizajnirano je za odgovaranje na tipkana pitanja o tekstu. Umjesto vraćanja objašnjenja u slobodnom obliku, Vercel kaže da može vratiti vjerojatnosti, izbore i rezultate. To ga čini prikladnim za zadatke u kojima aplikacija treba strukturirani odgovor koji može odmah upotrijebiti.
Vercel navodi klasifikaciju zahtjeva za podršku, odabir koraka tijeka rada i procjenu rubrike odgovora umjetne inteligencije kao primjere upotrebe. To nisu glamurozne aplikacije, ali su česte u poslovnim AI sustavima. Također imaju tendenciju sjediti na kritičnom putu odluka o troškovima, kašnjenju i kvaliteti.
Pakiranje pristupnika je važno. Izlažući Decision-1 kroz AI Gateway, Vercel čini model dostupnim putem iste vrste upravljačke površine koju programeri već koriste za druge AI pozive. Za timove koji se standardiziraju na OpenAI-kompatibilnom API pristupniku, koji smanjuje operativno trenje testiranja modela odlučivanja bez stvaranja drugog puta računa davatelja usluga.
Također slijedi nedavni potez OpenAI da odvoji tipkane pozive za odlučivanje od općih generativnih poziva. Poanta nije samo u tome da je dostupan još jedan model. Radi se o tome da kategorija sučelja postaje sve vidljivija među pružateljima usluga i gatewayima.
Zašto su upisani pozivi za odlučivanje važni
Većina LLM platformi izvorno je bila organizirana oko chata za generiranje tokena i poziva za završetak. Taj oblik nije uvijek idealan za klasifikaciju, usmjeravanje, evaluaciju i provjere politika. Sustav može trebati ograničeni odgovor, rezultat pouzdanosti ili mali skup dopuštenih izbora, a ne odlomak.
Modeli tipiziranih odluka mogu olakšati razmišljanje o tim pozivima. Ako aplikacija pita pripada li dolazna poruka jednoj od pet kategorija, strukturirani odgovor s vjerojatnostima lakše je zabilježiti, usporediti i revidirati nego odgovor na prirodnom jeziku koji se mora raščlaniti nakon činjenice.
Ta razlika postaje važnija kako sustavi umjetne inteligencije postaju automatiziraniji. Odluka o usmjeravanju može odrediti ide li zahtjev prema jeftinom modelu, premium modelu, redu čekanja za ljudski pregled ili blokiranom putu. Rezultat rubrike može odrediti hoće li se kupcu prikazati odgovor generiran umjetnom inteligencijom. Klasifikator može odlučiti koji će tim dobiti slučaj podrške.
Za programere, praktična posljedica je arhitektonska. Pozivi za odlučivanje ne bi se trebali tretirati samo kao kratki razgovori. Oni su zasebna vrsta radnog opterećenja, s različitim očekivanjima za kašnjenje, determinizam, vidljivost i dodjelu troškova. U zrelom skupu, ti bi pozivi trebali biti vidljivi na nadzornim pločama zajedno s chatom, slikama, videozapisima, ugrađivanjem i prometom agenata.
Na koga to utječe
Neposredna publika su programeri koji već koriste Vercel AI Gateway ili Vercel AI Gateway SDK.Mogu testirati Decision-1 bez postavljanja zasebne implementacije Azurea, što smanjuje napor potreban za njegovu usporedbu s drugim modelima koji omogućuju donošenje odluka.
Timovi za proizvode i platforme mogu osjetiti utjecaj šire. Ako tvrtka ima desetke tijekova rada umjetne inteligencije, klasifikacija i usmjeravanje poziva često postaju skrivena infrastruktura. Mogu biti ugrađeni u automatizaciju podrške, prodajne operacije, moderiranje sadržaja, interne agente ili cjevovode za evaluaciju. Nakon što se ti pozivi presele na pristupnik, timovi mogu početi upravljati njima kao prvoklasnom klasom prometa.
To ima jasne implikacije za LLM API dodjelu troškova. Pozivi za odlučivanje mogu pojedinačno biti jeftiniji od dugih generativnih poziva, ali mogu raditi s mnogo većom glasnoćom. Platforma za podršku može klasificirati svaku dolaznu poruku. Agentski sustav može procijeniti nekoliko mogućih sljedećih koraka za svaki zadatak. Cjevovod za kontrolu kvalitete mogao bi ocijeniti svaki generirani odgovor prije izdavanja.
Za tvrtke koje koriste interne platforme u stilu B2B LLM, lekcija je jednostavna: promet odluka trebao bi se označavati, mjeriti i upravljati odvojeno gdje je to moguće. Ako se svi zahtjevi umjetne inteligencije grupiraju u jedan generički spremnik LLM potrošnje, timovi gube mogućnost da vide dolaze li troškovi od generiranja usmjerenog prema korisniku, pozadinskog usmjeravanja, evaluacije ili automatiziranih provjera pravila.
Praktične posljedice za timove platforme umjetne inteligencije
Dodavanje Decision-1 trebalo bi potaknuti timove platforme da preispitaju kako interno modeliraju radna opterećenja umjetne inteligencije. Višemodelni AI API pristupnik više nije samo zamjena jednog modela chata drugim. Sve više mora podržavati različite klase zadataka: generiranje, dohvaćanje, stvaranje slika i videa, korištenje agentskog alata, skupnu obradu i sada tipkane pozive za odlučivanje.
To utječe na bilježenje. Tragovi zahtjeva trebali bi uhvatiti ne samo pružatelja i model, već i vrstu zadatka, klasu unosa, vraćeni izbor, pouzdanost, latenciju i nizvodnu radnju. Ako model odlučivanja netočno usmjeri problem kupca, timovi trebaju način da rekonstruiraju što se dogodilo.
To također utječe na procjenu. Točnost za tipizirani model odluke mjeri se drugačije od kvalitete odgovora za chatbot. Timovi će trebati označene skupove podataka, matrice zabune, testiranje pragova i planove vraćanja. Model koji dobro funkcionira za trijažu ulaznica za naplatu možda nije pouzdan za klasifikaciju koja je osjetljiva na usklađenost.
Također utječe na nabavu i politiku. Ako modeli odlučivanja postanu jeftinije ili brže alternative potpunim LLM pozivima, inženjerski timovi mogli bi biti u iskušenju da ih široko koriste. To može biti razumno, ali samo ako administratori mogu vidjeti korištenje po projektu, ključu, okruženju i tijeku rada. U suprotnom, jeftina značajka kontrolne ravnine može postati još jedna nepraćena ovisnost.
Ono što ostaje neizvjesno
Vercelova najava utvrđuje dostupnost i podržane pristupne putove, ali ne odgovara na svako proizvodno pitanje. Javni detalji još uvijek su ograničeni u pogledu referentnih performansi, načina kvarova, ponašanja cijena u različitim radnim opterećenjima i načina Decision-1 na usporedbu s drugim opcijama tipiziranih odluka u stvarnim skupovima podataka poduzeća.
Postoji i pitanje upravljanja. Modeli odlučivanja često se koriste na mjestima gdje rezultat pokreće radnju. Zbog toga su pragovi pouzdanosti i politike ljudskog pregleda važniji od samog naziva modela. Tvrtke bi trebale testirati Decision-1 svoje vlastite podatke prije nego što se oslone na njih za usmjeravanje, pravila ili tijekove rada za procjenu koji utječu na klijente ili regulirane procese.
Veći signal je jasniji: tipkani pozivi za odlučivanje postaju dio glavne infrastrukture umjetne inteligencije. Kako pristupnici dodaju modele poput Microsofta Decision-1, tvrtke će morati upravljati prometom odluka s istom disciplinom koju već primjenjuju na pristup generativnom modelu, izvješćivanje o potrošnji i API-ključno upravljanje.