OpenRouter je pokrenuo skupinu API za asinkrono zaključivanje LLM-a, dodajući novu površinu troškova za timove koji mogu čekati rezultate umjesto plaćanja za trenutne sinkrone odgovore.

Izdanje od 22. rujna omogućuje korisnicima slanje skupnih radnih opterećenja na /api/v1/batches za dovršetke chata, odgovore, poruke i ugradnje. OpenRouter kaže da značajka radi na više od 70 modela. Također se kaže da pružatelji općenito naplaćuju 50% ili manje normalne cijene po tokenu kada mogu dovršiti posao unutar 24 sata.

To ovu najavu čini više od druge krajnje točke. Formalizira podjelu kojom mnogi AI timovi već upravljaju neformalno: neki pozivi modela moraju se dogoditi dok korisnik čeka, dok se mnogi drugi mogu izvoditi u pozadini. Procjene, poslovi klasifikacije, ugradnje, obogaćivanje dokumenata, označavanje, popunjavanje, paketi testiranja crvenog tima i veliki redovi čekanja za sažimanje često ne trebaju odgovore niske latencije. Do sada su ti poslovi često prolazili kroz iste sinkrone API uzorke kao interaktivne značajke proizvoda.

Što se promijenilo

OpenRouterova serija API stvara zaseban put za rad koji se može staviti u red čekanja i dovršiti asinkrono. Umjesto podnošenja jednog zahtjeva i zadržavanja otvorene staze odgovora, korisnici podnose paket, prate njegov status i kasnije dohvaćaju dovršene rezultate.

Praktična promjena je ekonomska koliko i tehnička. OpenRouterova najava kaže da pružatelji općenito cijene ta radna opterećenja na pola ili manje od standardnih cijena po tokenu ako mogu dovršiti posao unutar prozora od 24 sata. Tvrtka je također izvijestila da je njezina beta obradila više od 230.000 dovršenih paketa sa srednjim vremenom dovršetka od 7 minuta.

Te brojke ne treba tumačiti kao jamstvo razine univerzalne usluge. Dostupni popust ovisi o podršci pružatelja i usmjeravanju, a vrijeme dovršetka ovisi o modelu, dubini reda čekanja, obliku radnog opterećenja i kapacitetu pružatelja. Ali smjer je jasan: API platforme počinju razotkrivati ​​kašnjenje kao namjernu polugu kontrole troškova.

Zašto je to važno za AI timove

Za programere, skupna obrada mijenja način na koji bi rad LLM-a trebao biti dizajniran. Tim za proizvode i dalje može koristiti sinkrone pozive za chat, pomoć kod kodiranja, korištenje agentskog alata ili tijekove rada usmjerene na kupca. Ali isti tim može premjestiti ponavljajuće procjene, noćnu obradu baze znanja, generiranje ugrađivanja i izvanmrežnu analitiku u red čekanja s nižom cijenom.

To je važno jer se potrošnja tokena sve više dijeli na mnoge skrivene operativne zadatke. Tvrtka može prvo primijetiti cijenu vidljivih značajki umjetne inteligencije, ali interni poslovi mogu postati veliki udio u količini zaključaka nakon što timovi počnu provoditi procjene, provjere kvalitete, moderiranje sadržaja, transformacije skupova podataka i održavanje dohvaćanja u velikom broju. Skupni API-ji čine ta pozadinska radna opterećenja lakšim za odvajanje, proračun i optimizaciju.

Izdanje također pojačava širi obrazac u AI API kontroli troškova: poduzeća trebaju više od popisa podržanih modela. Trebaju usmjeravanje, vidljivost, pravila, analitiku upotrebe i logiku naplate koja razumije operativnu razliku između interaktivnog i odgođenog zaključivanja.

Za timove koji koriste pristupnik s više modela, skupno zaključivanje postavlja neposredna pitanja upravljanja. Koji pružatelji usluga ispunjavaju uvjete za grupne poslove? Jesu li neki modeli odobreni samo za sinkronu upotrebu okrenutu prema korisniku, dok se jeftiniji modeli preferiraju za izvanmrežnu procjenu? Kako se ponovno pokušavaju neuspjele skupne stavke? Mogu li timovi za financije ili platforme pripisati korištenje asinkronog tokena pravom proizvodu, klijentu, okruženju ili internom timu?

Tko je pogođen

Najočitiji korisnici su timovi s velikom količinom LLM rada otpornog na kašnjenje. Timovi za procjenu AI-ja mogu pokrenuti šire pakete testova bez tretiranja svakog upita kao transakcije u stvarnom vremenu. Podatkovni timovi mogu obraditi zaostale zahtjeve za podršku, dokumente, prijepise ili kataloge proizvoda po nižoj cijeni. Timovi za dohvaćanje mogu generirati ugradnje i metapodatke u pozadini.Timovi za sigurnost i upravljanje mogu provoditi provjere pravila ili reviziju radnih opterećenja bez natjecanja s proračunima latencije proizvodnje.

Startupovi i manji timovi također mogu imati koristi jer skupne cijene mogu pojeftiniti eksperimentiranje. Tim koji uspoređuje nekoliko modela za sažimanje ili klasifikaciju mogao bi pokrenuti veće izvanmrežne testove prije nego što krene na proizvodni put. Ipak, uštede troškova nisu automatske. Ako radni tijek i dalje blokira korisnika ili ako sustavi na nižem nivou nisu napravljeni da ispituju dovršenost i rješavaju djelomične kvarove, prisiljavanje u skupni model može stvoriti više složenosti nego vrijednosti.

Za timove za platformu i infrastrukturu, najava ukazuje na zahtjeve proizvoda koji će se vjerojatno proširiti. Kako skupno određivanje cijena postaje sve češće, interne AI platforme trebat će zasebne kontrole za asinkrone poslove: kvote, tokove odobrenja, pravila zadržavanja, ponašanje otkazivanja, praćenje statusa i dodjelu troškova. Jedan skupni brojač tokena neće biti dovoljan.

Ono što ostaje neizvjesno

Glavna neizvjesnost je koliko će uštede biti dosljedne među modelima i pružateljima usluga. OpenRouter opisuje razinu od 50% kao opći obrazac pružatelja, a ne obećanje da će svaki model ili ruta uvijek biti dostupan s tim popustom. Kupci će morati provjeriti koji modeli podržavaju serijski način rada, kako su cijene prikazane u zapisima i fakturama te mijenjaju li promjene usmjeravanja očekivanu ekonomičnost.

Također postoji operativno pitanje u vezi s rokovima završetka. Prozor od 24 sata je razuman za mnoga izvanmrežna radna opterećenja, ali tvrtke ipak moraju znati završava li većina poslova za nekoliko minuta, sati ili blizu roka. Prijavljeno prosječno vrijeme dovršetka beta verzije od 7 minuta OpenRoutera je ohrabrujuće, ali srednja izvedba ne odgovara na pitanja latencije repa za velike proizvodne serije.

Veće je značenje da infrastruktura LLM-a postaje manje monolitna. Stari model je bio jednostavan: pošalji upit, dobij odgovor, plati navedenu cijenu tokena. Model u nastajanju više je poput određivanja cijena infrastrukture u oblaku, gdje vrijeme, usmjeravanje, klasa radnog opterećenja, izbor pružatelja usluga i politika utječu na cijenu. OpenRouterova serija API daje programerima novi način da iskoriste tu razliku, pod uvjetom da su njihovi sustavi dizajnirani da tretiraju odgođeno zaključivanje kao prvorazredni tijek rada.