Vercel dodał Microsoft Decision-1 do AI Gateway, rozszerzając małą, ale ważną kategorię modeli zbudowanych do klasyfikacji, routingu i oceniania przy użyciu maszyn, a nie do generowania tekstu otwartego.

Wersja z 9 października oznacza, że ​​programiści mogą wywoływać model za pomocą decyzji API AI SDK programu Vercel, decyzji API zgodnej z OpenAI lub decyzji API zgodnej z TypeSafe, używając nazwy modelu microsoft/microsoft-decision-1. Vercel twierdzi, że użytkownicy potrzebują tylko klucza AI Gateway API, bez oddzielnego konta Azure ani wdrożenia.

Zmiana jest wąska pod względem produktu, ale wskazuje na szerszą zmianę w sposobie podziału infrastruktury aplikacji AI. Coraz większa część pracy produkcyjnej AI nie polega na czacie. Decyduje o tym, czy zgłoszenie do pomocy technicznej ma charakter rozliczeniowy czy techniczny, czy przepływ pracy powinien przejść do następnego kroku, czy odpowiedź AI spełnia kryteria, czy też który model niższego szczebla powinien obsłużyć żądanie. Decision-1 zapewnia tym obciążeniom bardziej przejrzysty interfejs.

Co się zmieniło

Decision-1 ma na celu odpowiadanie na wpisywane na klawiaturze pytania dotyczące tekstu. Zamiast zwracać dowolne wyjaśnienie, Vercel twierdzi, że może zwrócić prawdopodobieństwa, wybory i wyniki. Dzięki temu nadaje się do zadań, w których aplikacja potrzebuje ustrukturyzowanej odpowiedzi, z której może natychmiast skorzystać.

Vercel podaje klasyfikację zgłoszeń serwisowych, wybór etapów przepływu pracy i ocenę rubryk odpowiedzi AI jako przykładowe zastosowania. Nie są to jakieś efektowne aplikacje, ale są powszechne w korporacyjnych systemach AI. Zwykle podejmują też krytyczne decyzje dotyczące kosztów, opóźnień i jakości.

Opakowanie bramy ma znaczenie. Udostępniając Decision-1 za pośrednictwem AI Gateway, Vercel udostępnia model za pośrednictwem tego samego rodzaju powierzchni kontrolnej, z której programiści korzystają już w przypadku innych wywołań AI. W przypadku zespołów standaryzujących na bramce OpenAI zgodnej z API, zmniejsza to trudności operacyjne związane z testowaniem modelu decyzyjnego bez tworzenia ścieżki konta innego dostawcy.

Jest to również następstwem niedawnego ruchu OpenAI mającego na celu oddzielenie wywołań decyzyjnych wpisywanych na klawiaturze od ogólnych wywołań generatywnych. Nie chodzi tylko o to, że dostępny jest inny model. Dzieje się tak dlatego, że kategoria interfejsów staje się coraz bardziej widoczna wśród dostawców i bramek.

Dlaczego wpisane wywołania decyzyjne mają znaczenie

Większość platform LLM była pierwotnie zorganizowana wokół czatu generującego tokeny i wywołań uzupełniających. Ten kształt nie zawsze jest idealny do klasyfikacji, routingu, oceny i kontroli zasad. System może potrzebować ograniczonej odpowiedzi, wskaźnika zaufania lub małego zestawu dozwolonych opcji, a nie akapitu.

Wpisane modele decyzyjne mogą ułatwić uzasadnienie tych wywołań. Jeśli aplikacja zapyta, czy wiadomość przychodząca należy do jednej z pięciu kategorii, łatwiej jest rejestrować, porównywać i kontrolować ustrukturyzowaną odpowiedź z prawdopodobieństwem niż odpowiedź w języku naturalnym, którą należy przeanalizować po fakcie.

To rozróżnienie staje się coraz ważniejsze w miarę zwiększania się automatyzacji systemów sztucznej inteligencji. Decyzja o routingu może określić, czy żądanie trafia do taniego modelu, modelu premium, kolejki do przeglądu ręcznego, czy też do zablokowanej ścieżki. Wynik rubryk może określić, czy odpowiedź wygenerowana przez sztuczną inteligencję zostanie wyświetlona klientowi. Klasyfikator może zdecydować, który zespół otrzyma zgłoszenie do pomocy technicznej.

Dla programistów praktyczną konsekwencją jest architektura. Wezwania do podjęcia decyzji nie powinny być traktowane jedynie jako krótkie podpowiedzi na czacie. Stanowią odrębny typ obciążenia, z różnymi oczekiwaniami dotyczącymi opóźnień, determinizmu, obserwowalności i przypisania kosztów. W przypadku dojrzałego stosu te wywołania powinny być widoczne w pulpitach nawigacyjnych obok czatów, obrazów, wideo, osadzania i ruchu agentów.

Kogo dotyczy

Bezpośrednią grupą odbiorców są programiści już korzystający z Vercel AI Gateway lub AI Vercel SDK.Mogą przetestować Decision-1 bez konfigurowania oddzielnego wdrożenia platformy Azure, co zmniejsza wysiłek wymagany do porównania go z innymi modelami umożliwiającymi podejmowanie decyzji.

Zespoły ds. produktów i platform mogą odczuć wpływ w szerszym zakresie. Jeśli firma ma dziesiątki przepływów pracy opartych na sztucznej inteligencji, połączenia klasyfikacyjne i przekierowujące często stają się ukrytą infrastrukturą. Mogą być osadzone w automatyzacji wsparcia, operacjach sprzedaży, moderowaniu treści, agentach wewnętrznych lub procesach oceny. Gdy połączenia te zostaną przesłane do bramy, zespoły będą mogły zacząć nimi zarządzać jako ruchem najwyższej klasy.

Ma to wyraźne konsekwencje dla przypisywania kosztów LLM API. Połączenia decyzyjne mogą być indywidualnie tańsze niż długie połączenia generatywne, ale mogą działać ze znacznie większą głośnością. Platforma wsparcia może klasyfikować każdą przychodzącą wiadomość. System agenta może ocenić kilka możliwych kolejnych kroków dla każdego zadania. Potok kontroli jakości może oceniać każdą wygenerowaną odpowiedź przed publikacją.

W przypadku firm korzystających z platform wewnętrznych w stylu B2B LLM wniosek jest prosty: ruch decyzyjny powinien być tagowany, mierzony i zarządzany oddzielnie, jeśli to możliwe. Jeśli wszystkie żądania AI zostaną zebrane w jednym ogólnym koszyku wydatków LLM, zespoły stracą możliwość sprawdzenia, czy koszty pochodzą z generowania bezpośrednio przed użytkownikiem, routingu w tle, oceny czy automatycznych kontroli zasad.

Praktyczne konsekwencje dla zespołów zajmujących się platformami AI

Dodanie Decision-1 powinno skłonić zespoły zajmujące się platformami do ponownego rozważenia sposobu, w jaki wewnętrznie modelują obciążenia AI. Wielomodelowa API bramka AI nie polega już tylko na zamianie jednego modelu czatu na inny. Coraz częściej musi obsługiwać różne klasy zadań: generowanie, pobieranie, tworzenie obrazów i wideo, korzystanie z narzędzi agenta, przetwarzanie wsadowe, a teraz także wywoływanie decyzji w formie tekstowej.

Ma to wpływ na rejestrowanie. Ślady żądań powinny przechwytywać nie tylko dostawcę i model, ale także typ zadania, klasę wejściową, zwrócony wybór, pewność, opóźnienie i dalsze działania. Jeśli model decyzyjny błędnie kieruje problem klienta, zespoły potrzebują sposobu na zrekonstruowanie tego, co się stało.

Ma to również wpływ na ocenę. Dokładność typowanego modelu decyzyjnego jest mierzona inaczej niż jakość odpowiedzi w przypadku chatbota. Zespoły będą potrzebować oznakowanych zbiorów danych, macierzy zamieszania, testów progowych i planów wycofywania zmian. Model, który dobrze sprawdza się w przypadku segregacji biletów rozliczeniowych, może nie być niezawodny w przypadku klasyfikacji uwzględniającej zgodność z przepisami.

Ma to także wpływ na zaopatrzenie i zasady. Jeśli modele decyzyjne staną się tańszą lub szybszą alternatywą dla pełnych wywołań LLM, zespoły inżynieryjne mogą ulec pokusie, aby je powszechnie stosować. Może to być rozsądne, ale tylko wtedy, gdy administratorzy mogą zobaczyć użycie według projektu, klucza, środowiska i przepływu pracy. W przeciwnym razie niedroga funkcja płaszczyzny kontrolnej może stać się kolejną nieśledzoną zależnością.

Co pozostaje niepewne

Ogłoszenie firmy Vercel określa dostępność i obsługiwane ścieżki dostępu, ale nie odpowiada na wszystkie pytania produkcyjne. Szczegóły publiczne są nadal ograniczone pod względem wydajności porównawczej, trybów awarii, zachowań cenowych w przypadku różnych obciążeń oraz porównania Decision-1 z innymi opcjami podejmowania decyzji za pomocą typu w rzeczywistych zbiorach danych przedsiębiorstwa.

Istnieje również kwestia zarządzania. Modele decyzyjne są często używane tam, gdzie wynik wyzwala działanie. To sprawia, że ​​progi ufności i zasady weryfikacji ręcznej są ważniejsze niż sama nazwa modelu. Firmy powinny przetestować Decision-1 na własnych danych, zanim wykorzystają je do wyznaczania tras, zasad lub procedur oceny, które mają wpływ na klientów lub regulowane procesy.

Większy sygnał jest wyraźniejszy: wywołania decyzyjne wpisywane na maszynie stają się częścią głównego nurtu infrastruktury sztucznej inteligencji. Ponieważ bramy dodają modele takie jak Microsoft Decision-1, firmy będą musiały zarządzać ruchem decyzyjnym z taką samą dyscypliną, jaką już stosują w przypadku dostępu do modeli generatywnych, raportowania wydatków i zarządzania kluczami API.