OpenAI je izdal nove odločitve API v javni različici beta, ki razvijalcem daje ločeno končno točko za vnesene odločitve namesto ustvarjanja celotnega besedila. Beta je prispela 6. oktobra s podporo za GPT-6 Luna in je postavljena za delovne obremenitve, kjer je izhodni prostor znan vnaprej: predikati, izbire in rezultati.

Sliši se ozko, vendar je pomembno. Velik delež prometa produkcijske umetne inteligence ni odprto pisanje. To je razvrščanje, usmerjanje, preverjanja politike, ki so povezana z moderiranjem, zaznavanje namena, izbira orodij in logika zaščitne ograje. Ti klici pogosto zahtevajo od modela, da ustvari majhen strukturiran odgovor, nato pa prisili aplikacijo, da ga razčleni ali potrdi. OpenAI ta vzorec zdaj obravnava kot lastno API površino.

Kaj se je spremenilo

The Decisions API pretvori besedilo in slike v tipkane odgovore. OpenAI pravi, da je lahko do 10-krat hitrejši od odgovorov API za podprte delovne obremenitve odločanja. V javni različici beta lahko razvijalci definirajo izhodne odločitve kot predikate, izbire ali rezultate, namesto da bi pozvali model, naj ustvari poljubno besedilo in nato omeji rezultat po dejstvu.

Tudi cenovni model je drugačen. OpenAI navaja GPT-6 uporabo Lune za odločitve API po 0,10 USD na 1 milijon vhodnih žetonov, brez stroškov branja predpomnilnika, pisanja predpomnilnika ali izhodnih žetonov. Zaradi tega je ekonomiko enote lažje modelirati za plasti odločanja z velikim obsegom, ker je račun vezan samo na vhodno količino.

Izdaja ne nadomešča klepeta, odzivov ali agentsko usmerjenih API-jev. Ustvari bolj specializirano pot za primere, ko aplikacija potrebuje zanesljiv vtipkan odgovor, ne odstavka. Za ekipe, ki že delijo delovne obremenitve po velikostih modelov, stopnjah zakasnitev in ponudnikovih poteh, to arhitekturi doda še eno kategorijo: klice odločanja.

Zakaj bi moralo razvijalce skrbeti

Številne aplikacije AI že uporabljajo klice majhnih modelov kot logiko notranjega nadzora. Pomočnik za podporo lahko razvrsti vstopnico, preden izbere potek dela. Kodirni agent se lahko odloči, katero orodje bo poklical naslednje. Sistem za obdelavo dokumentov lahko oceni, ali zapis izpolnjuje prag pravilnika. Izdelek, namenjen strankam, lahko usmerja zahteve med cenejšimi in zmogljivejšimi modeli.

Do zdaj so bili ti vzorci pogosto implementirani kot običajni generacijski klici s strogimi pozivi, JSON shemami, ponovnimi poskusi in plastmi preverjanja. Ta pristop deluje, vendar nosi dodatne stroške. Razvijalci plačujejo za izhodne žetone, upravljajo napake pri razčlenjevanju in pogosto sprejmejo večjo zakasnitev, kot bi zahtevala sama odločitev.

Končna točka vnesene odločitve spremeni ta kompromis. Če je izhod mogoče predstaviti kot logično vrednost, omejeno izbiro ali rezultat, lahko ekipe premaknejo klic iz splošne generativne poti. To lahko zmanjša zakasnitev in poenostavi kodo aplikacije. Prav tako lahko zmanjša dvoumnost v dnevnikih in analitiki, ker je namen klica ekspliciten.

Najbolj neposredni primeri uporabe bodo verjetno visokofrekvenčna notranja preverjanja: usmerjanje zahtev, omejitve primernosti vsebine, pravila za stopnjevanje, koraki za izbiro orodij in pravilniki za izbiro modela. Na teh mestih so lahko majhne izboljšave v zakasnitvi in stroških pomembne, ker se lahko klic odločitve zgodi pred vsako zahtevo večjega modela.

Posledice stroškov in upravljanja

Cena samo za vnos je komercialna podrobnost, na katero morate biti pozorni. Za ekipe, ki izvajajo velike količine zaščitnih ograj agentov ali odločitev o usmerjanju, odprava zaračunavanja izhodnih žetonov spremeni primerjavo z modeli majhnih klepetov, mehanizmi pravil in končnimi točkami klasifikatorjev, specifičnih za ponudnika. Prav tako naredi napovedi stroškov manj občutljive na podrobnost izpisa ali ponovne poskuse sheme.

To ne pomeni, da bi se moral vsak klasifikator premakniti k odločitvam API. Deterministična pravila bodo še vedno cenejša in lažja za revizijo, če bo logika preprosta. Obstoječi filtri za vdelavo, iskanje ali bazo podatkov so morda primernejši za nekatere težave z usmerjanjem. Toda kjer se model že uporablja za interpretacijo neurejenega besedila ali slik v omejen odgovor, nova API daje ekipam čistejšo možnost nabave in inženiringa.

Za skupine platform je večja težava taksonomija. Če se vsi klici umetne inteligence obravnavajo kot zaključki klepeta ali generični odgovori na notranjih nadzornih ploščah, bo delovne obremenitve odločanja težko upravljati. Imajo različne pričakovane zakasnitve, obnašanje zaračunavanja in načine napak. Organizacije z razvitimi programi LLM stroškovnega upravljanja bodo morale ločiti promet odločitev od prometa ustvarjanja, tako da usmerjanje, proračuni in opozorila odražajo, kako se delovna obremenitev dejansko obnaša.

Enako velja za prehode. Večmodelni API prehod, ki normalizira samo klice v slogu klepeta, morda ne bo dovolj, če bodo ponudniki še naprej oblikovali specializirane končne točke za odločitve, orodja, pakete, zvok v živo in agente. B2B LLM Platforme in notranje ravni nadzora AI bodo morda potrebovale prvorazredne kategorije končnih točk za vnesene odločitve, namesto da bi vsiljevale vse skozi abstrakcijo klepeta.

Koga to zadeva

Razvijalci aplikacij dobijo najbolj neposredno korist, če vzdržujejo kodo razvrščanja ali usmerjanja, ki je zelo zahtevna. Nova API jim lahko omogoči zamenjavo krhkih tokov poziva in razčlenjevanja s tipkanimi izhodi, ki se bolje ujemajo z notranjim stanjem aplikacije.

To vpliva na ekipe platforme AI, ker se bodo morale odločiti, ali so odločitve API izpostavljene kot ločena odobrena zmogljivost, kako se beleži in katere ekipe jo lahko uporabljajo. Pregledovalci varnosti in skladnosti bodo želeli vedeti, ali se izhodi odločitev uporabljajo za nadzor dostopa, upravičenost uporabnikov, zdravstvene poteke dela, zaposlovanje, finančne odločitve ali druge občutljive procese.

Pozorne bi morale biti tudi ekipe za finance in operacije. Odločitveni klici so lahko nevidni v poročanju vodilnih, če so združeni v širšo uporabo modela. Ko bodo aplikacije začele uporabljati modelne klice kot logiko nadzorne ravnine, ne le generiranje, obrnjeno k uporabniku, mora LLM API dodeljevanje stroškov zajeti poslovno funkcijo klica, ne le imena modela.

Kaj ostaja negotovo

Obvestilo beta določa osnovno obliko API, vendar je treba pomembne proizvodne podrobnosti še preveriti. OpenAI ni predložil neodvisnih primerjalnih dokazov za trditev o "do 10-krat hitrejšem" v dejanskih delovnih obremenitvah podjetja. Razvijalci bodo morali preizkusiti zakasnitev z lastnimi velikostmi vnosa, vsebino slik, regijami in vzorci sočasnosti.

Prav tako ni jasno, kako stabilen bo vmesnik beta, kakšne bodo omejitve hitrosti v primerjavi z drugimi OpenAI API površinami in kako se bodo odločitve API razvijale skupaj z odzivi in API-ji prihodnjih agentov. Cene so privlačne za plasti odločanja z velikim obsegom, vendar cen beta in vedenja končne točke ne bi smeli obravnavati kot stalne brez pregleda pogodbe.

Vendar je strateški signal jasen: OpenAI ločuje še en pogost vzorec aplikacij LLM od generiranja za splošne namene. Za podjetja to pomeni, da se arhitektura umetne inteligence manj ukvarja z izbiro ene končne točke modela in bolj z usklajevanjem vsake delovne obremenitve s pravim API primitivom.