OpenAI udostępniło nową decyzję API w publicznej wersji beta, dając programistom oddzielny punkt końcowy do podejmowania decyzji wpisywanych na maszynie, a nie do generowania pełnego tekstu. Wersja beta pojawiła się 6 października ze wsparciem dla GPT-6 Luny i jest przystosowana do obciążeń, w których przestrzeń wyjściowa jest znana z góry: predykaty, wybory i wyniki.

To brzmi wąsko, ale ma znaczenie. Duża część ruchu produkcyjnego AI nie jest pisaniem otwartym. Obejmuje to klasyfikację, routing, kontrole zasad powiązane z moderacją, wykrywanie zamiarów, wybór narzędzi i logikę poręczy. Wywołania te często proszą model o wygenerowanie małej, ustrukturyzowanej odpowiedzi, a następnie zmuszają aplikację do jej przeanalizowania lub sprawdzenia. OpenAI traktuje teraz ten wzór jako swoją własną API powierzchnię.

Co się zmieniło

Decyzje API zamieniają tekst i obrazy na wpisane odpowiedzi. OpenAI mówi, że może być do 10 razy szybszy niż Odpowiedzi API dla obsługiwanych obciążeń decyzyjnych. W publicznej wersji beta programiści mogą definiować wyniki decyzji jako predykaty, wybory lub wyniki, zamiast monitować model o wygenerowanie dowolnego tekstu, a następnie ograniczać wynik po fakcie.

Model cenowy również jest inny. OpenAI zawiera listę GPT-6 użycia Luna dla decyzji API po cenie 0,10 USD za 1 milion tokenów wejściowych, bez opłat za odczyt, zapis w pamięci podręcznej lub token wyjściowy. Ułatwia to modelowanie ekonomiki jednostkowej w przypadku warstw decyzyjnych o dużym wolumenie, ponieważ rachunek jest powiązany tylko z wolumenem wejściowym.

Ta wersja nie zastępuje czatu, odpowiedzi ani interfejsów API zorientowanych na agenta. Tworzy bardziej wyspecjalizowaną ścieżkę w przypadkach, gdy aplikacja potrzebuje niezawodnej odpowiedzi wpisanej na maszynie, a nie akapitu. W przypadku zespołów, które już dzielą obciążenia na rozmiary modeli, poziomy opóźnień i trasy dostawców, dodaje to do architektury kolejną kategorię: wywołania decyzyjne.

Dlaczego programiści powinni się tym przejmować

Wiele aplikacji AI wykorzystuje już wywołania małych modeli jako logikę kontroli wewnętrznej. Asystent pomocy technicznej może sklasyfikować zgłoszenie przed wybraniem przepływu pracy. Agent kodujący może zdecydować, które narzędzie wywołać jako następne. System przetwarzania dokumentów może oceniać, czy rekord spełnia próg określony w zasadach. Produkt skierowany do klienta może kierować żądania między tańszymi i wydajniejszymi modelami.

Do tej pory te wzorce były często implementowane jako normalne wywołania generowania ze ścisłymi monitami, JSON schematami, ponownymi próbami i warstwami sprawdzania poprawności. To podejście działa, ale wiąże się z dodatkowymi kosztami. Programiści płacą za tokeny wyjściowe, zarządzają błędami analizy i często akceptują większe opóźnienia, niż powinna wymagać sama decyzja.

Wpisany punkt końcowy decyzji zmienia ten kompromis. Jeśli wynik można przedstawić jako wartość logiczną, ograniczony wybór lub wynik, zespoły mogą przenieść wywołanie z ogólnej ścieżki generatywnej. Może to zmniejszyć opóźnienia i uprościć kod aplikacji. Może to również zmniejszyć niejednoznaczność w dziennikach i analizach, ponieważ cel połączenia jest wyraźny.

Najszybszym przypadkiem użycia będą prawdopodobnie kontrole wewnętrzne o dużej częstotliwości: kierowanie żądań, bramki kwalifikujące treści, reguły eskalacji, etapy wyboru narzędzi i zasady wyboru modelu. W takich miejscach niewielka poprawa opóźnień i kosztów może mieć znaczenie, ponieważ podjęcie decyzji może nastąpić przed każdym większym żądaniem modelu.

Konsekwencje dotyczące kosztów i zarządzania

Cena służąca wyłącznie do wprowadzenia danych to szczegół handlowy, który należy obejrzeć. W przypadku zespołów obsługujących dużą liczbę zabezpieczeń agentów lub decyzji dotyczących routingu wyeliminowanie rozliczeń za tokeny wyjściowe zmienia porównanie z małymi modelami czatów, silnikami reguł i punktami końcowymi klasyfikatorów specyficznych dla dostawcy. Sprawia to również, że prognozy kosztów są mniej wrażliwe na szczegółowość wyników lub ponowne próby schematu.

Nie oznacza to, że każdy klasyfikator powinien przejść do decyzji API. Reguły deterministyczne będą nadal tańsze i łatwiejsze do kontrolowania, gdy logika będzie prosta. Istniejące filtry osadzania, wyszukiwania lub bazy danych mogą być bardziej odpowiednie w przypadku niektórych problemów z routingiem. Jeśli jednak model jest już używany do interpretacji niechlujnego tekstu lub obrazów w odpowiedzi ograniczonej, nowy API zapewnia zespołom przejrzystą opcję zaopatrzenia i inżynierii.

W przypadku zespołów zajmujących się platformami większym problemem jest taksonomia. Jeśli wszystkie wywołania sztucznej inteligencji będą traktowane jako zakończenia czatu lub ogólne odpowiedzi w wewnętrznych pulpitach nawigacyjnych, zarządzanie obciążeniami decyzyjnymi będzie trudne. Mają różne oczekiwania dotyczące opóźnień, zachowania związane z rozliczeniami i tryby awarii. Organizacje posiadające dojrzałe programy LLM do zarządzania kosztami będą musiały oddzielić ruch decyzyjny od ruchu generującego, tak aby routing, budżety i alerty odzwierciedlały rzeczywiste zachowanie obciążenia.

To samo dotyczy bram. Wielomodelowa bramka AI API, która normalizuje tylko połączenia w stylu czatu, może nie wystarczyć, jeśli dostawcy będą nadal tworzyć wyspecjalizowane punkty końcowe na potrzeby podejmowania decyzji, narzędzi, partii, dźwięku na żywo i agentów. B2B LLM platformy i wewnętrzne płaszczyzny kontroli AI mogą wymagać najwyższej klasy kategorii punktów końcowych do podejmowania decyzji na podstawie typu, zamiast wymuszać wszystko poprzez abstrakcję czatu.

Kogo dotyczy

Twórcy aplikacji uzyskują największe bezpośrednie korzyści, jeśli utrzymają wymagającą natychmiastową klasyfikację lub kod routingu. Nowy API może pozwolić im zastąpić kruche przepływy podpowiedzi i analizy wpisanymi danymi wyjściowymi, które lepiej pasują do wewnętrznej maszyny stanu aplikacji.

Dotyczy to zespołów zajmujących się platformą AI, ponieważ będą musiały zdecydować, czy decyzje API mają być udostępniane jako osobna zatwierdzona funkcja, w jaki sposób są rejestrowane i które zespoły mogą z nich korzystać. Osoby sprawdzające bezpieczeństwo i zgodność będą chciały wiedzieć, czy wyniki decyzji są wykorzystywane do kontroli dostępu, uprawnień użytkowników, przepływów pracy w służbie zdrowia, zatrudniania, podejmowania decyzji finansowych lub innych wrażliwych procesów.

Zespoły finansowe i operacyjne również powinny zwrócić uwagę. Wywołania decyzyjne mogą być niewidoczne w raportach wykonawczych, jeśli zostaną uwzględnione w szerszym zastosowaniu modelu. Gdy aplikacje zaczną wykorzystywać wywołania modeli jako logikę płaszczyzny kontrolnej, a nie tylko generowanie skierowane do użytkownika, przypisanie kosztów LLM API musi uchwycić funkcję biznesową wywołania, a nie tylko nazwę modelu.

Co pozostaje niepewne

Ogłoszenie wersji beta ustala podstawowy kształt API, ale ważne szczegóły produkcyjne nadal wymagają sprawdzenia. OpenAI nie dostarczył niezależnych danych porównawczych potwierdzających twierdzenie „nawet 10 razy szybsze” w przypadku rzeczywistych obciążeń korporacyjnych. Programiści będą musieli przetestować opóźnienia przy użyciu własnych rozmiarów wejściowych, ładunków obrazu, regionów i wzorców współbieżności.

Nie jest również jasne, jak stabilny będzie interfejs wersji beta, jak limity szybkości będą się różnić od innych OpenAI API platform i jak decyzje API będą ewoluować wraz z odpowiedziami i przyszłymi interfejsami API agentów. Ceny są atrakcyjne w przypadku warstw decyzyjnych o dużym wolumenie, ale ceny wersji beta i zachowanie punktów końcowych nie powinny być traktowane jako stałe bez przeglądu umowy.

Jednak sygnał strategiczny jest jasny: OpenAI oddziela inny powszechny wzorzec aplikacji LLM od generacji ogólnego przeznaczenia. Dla firm oznacza to, że architektura sztucznej inteligencji w coraz mniejszym stopniu opiera się na wyborze jednego punktu końcowego modelu, a bardziej na dopasowywaniu każdego obciążenia do odpowiedniego API elementu pierwotnego.