Microsoft je ažurirao razinu AI Gatewaya za Azure API Management sa skupom kontrola koje su manje važne za eksperimentiranje modela, a više za proizvodne operacije: stabilni aliasi modela, Microsoft Entra pristup, preciznije uloge AI Gatewaya, pravila s opsegom pristupnika i izvješćivanje o korištenju za strujanje OpenAI-kompatibilnih Chat Completions odgovora.
Izdanje od 24. rujna nije lansiranje modela. To je ažuriranje kontrolne razine za timove koji već imaju višestruke aplikacije, pružatelje usluga, implementacije ili radna opterećenja agenata koja se kreću kroz pristupnik. To ga čini važnim za platformske timove koji pokušavaju održati fleksibilnim pristup modelu bez dopuštanja da se usmjeravanje, provjera autentičnosti, pravila i računovodstvo tokena rasprše po kodu aplikacije.
Što se promijenilo u Azure AI Gatewayu
Glavna promjena su aliasi modela. Umjesto da od aplikacije zahtijeva izravno pozivanje određenog modela pozadinskog kataloga, Azure API Management AI Gateway sada može izložiti stabilan naziv modela okrenut klijentu. Pozadinski cilj se može promijeniti dok aplikacija nastavlja pozivati alias.
Ta je apstrakcija korisna u uobičajenim softverskim terminima, ali je posebno korisna za LLM operacije. Nazivi modela, implementacije, regije i pružatelji mogu se mijenjati brže od ciklusa izdavanja poslovnih aplikacija. Pseudonim daje platformskim timovima način premještanja prometa na noviju implementaciju, standardiziranje imenovanja među timovima ili skrivanje pozadinske složenosti od klijentskih aplikacija.
Ažuriranje također dodaje podršku za Microsoft Entra pristupne tokene kao opciju autentifikacije za pristupne klijente. API ključevi ostaju uobičajeni u integracijama umjetne inteligencije, ali dugotrajnim ključevima teško je upravljati na razini. Pristup temeljen na Entra-i daje tvrtkama još jedan put: pristup temeljen na identitetu koji se može bolje uklopiti s postojećim politikama pristupa, praksama uvjetovanog pristupa i upravljanjem životnim ciklusom zaposlenika ili principala usluge.
Microsoft je također proširio mogućnosti dodjele uloga. Uloge AI pristupnika sada se mogu dodijeliti preko pristupnika ili uže dosegnuti na pseudonim modela ili MCP poslužitelj. To je važno jer pristupnici umjetne inteligencije sve više imaju više od jedne vrste resursa. Tim bi mogao trebati prava za upravljanje određenim aliasom za internog pomoćnika, dok drugi tim upravlja MCP poslužiteljem koji agentima izlaže poslovne alate.
Zašto je bilježenje upotrebe u strujanju važno
Operativno najznačajnija promjena može biti manje vidljiva programerima koji koriste API. Streaming OpenAI-kompatibilni Chat Completions odgovori sada uključuju objekt upotrebe čak i kada klijenti ne zatraže stream_options.include_usage.
To uklanja uobičajeni računovodstveni jaz. Streaming je atraktivan za kopilote okrenute prema korisniku, pomoćnike kodiranja i agentska sučelja jer smanjuje percipiranu latenciju. Ali ako upotreba tokena nije pouzdano snimljena za svaki strujani odgovor, nadzorne ploče troškova, provedba kvota, proračunski brojači i analitika upotrebe mogu odlutati od stvarnosti.
Forsirajući snimanje strujanja upotrebe na sloju pristupnika, Azure API Management može poboljšati nizvodnu telemetriju bez oslanjanja na svaki aplikacijski tim da zapamti ispravnu opciju zahtjeva. Za tvrtke koje koriste zajedničke AI platforme, to je razlika između savjetodavnog izvješćivanja o troškovima i provedivog pripisivanja troškova.
Ovdje se ažuriranje također povezuje sa širom Enterprise LLM API infrastrukturom. Mnoge su organizacije prošle fazu u kojoj jedan tim poziva jedan model s jednim ključem. Sada im je potrebno središnje usmjeravanje, mogućnost revizije, kontrole pravila i signali troškova koji preživljavaju zamjene modela i prepisivanja aplikacija.
Tko je pogođen
Izravna publika je inženjering platforme, infrastruktura u oblaku, sigurnost i timovi za iskustvo razvojnih programera koji koriste Azure API Management kao AI pristupnik. Razvojni programeri aplikacija mogu iskusiti promjene uglavnom kao jednostavnije krajnje točke i manje odluka o rukovanju vjerodajnicama, ali implikacije upravljanja nalaze se više u nizu.
Za sigurnosne timove, Entra pristup smanjuje ovisnost o statičkim API ključevima za pristup pristupniku. To ne eliminira svugdje potrebu za ključnim upravljanjem, jer uzvodni pružatelji usluga, vjerodajnice za implementaciju i pristup usluga-usluga još uvijek mogu zahtijevati zasebne kontrole. Ali poduzećima usmjerenim na Microsoft daje poznatu ravninu identiteta za jedan važan dio prometne staze umjetne inteligencije.
Za platformske timove, aliasi modela smanjuju spregu između aplikacija i postavljanja pozadinskih modela. To migracije može učiniti manje ometajućim. Također može učiniti uzorke vraćanja i upravljanja prometom čišćima, jer pseudonim pristupnika može postati ugovor dok implementacija pozadinske strane ostaje podesiva.
Za financije, operacije i voditelje proizvoda, promjena upotrebe strujanja trebala bi olakšati pripisivanje potrošnje AI-ja.Streaming radna opterećenja često su radna opterećenja koja poslovni korisnici zapravo vide: kopiloti podrške, prodajni pomoćnici, pomoćnici koda i interni agenti znanja. Ako se ta radna opterećenja ne broje premalo ili se nedosljedno broje, kontrole proračuna i analiza povrata ulaganja postaju slabiji.
Praktične posljedice i otvorena pitanja
Praktični kratkoročni učinak je da timovi AI platforme temeljene na Azureu mogu premjestiti više upravljanja u pristupnik. Umjesto raspršivanja naziva modela, provjera pravila i telemetrijskih pretpostavki po spremištima aplikacija, oni mogu koncentrirati više te logike u upravljanoj kontrolnoj točki.
Pravila s opsegom pristupnika dio su istog obrasca. Microsoft kaže da politike mogu primijeniti zaštitne ograde na kompatibilne modele, pseudonime i MCP poslužitelje. To bi trebalo smanjiti pomicanje pravila kako se dodaju novi modeli ili poslužitelji alata. Također pomaže u izbjegavanju poznatog načina neuspjeha: jedna aplikacija dobiva ažuriranu sigurnost, bilježenje ili pravilo usmjeravanja, dok druga zadržava stariju implementaciju jer je logika ugrađena lokalno.
Još uvijek postoje pitanja za kupce i graditelje za testiranje u vlastitim okruženjima. Izdanje opisuje nove mogućnosti, ali timovi će i dalje morati potvrditi kako se aliasi uklapaju u njihov proces implementacije, kako se nasljeđe pravila ponaša u složenim konfiguracijama pristupnika i kako objekti upotrebe ulaze u njihove postojeće telemetrije i sustave naplate. Poduzeća će također morati odlučiti koja bi radna opterećenja trebala odmah koristiti Entra pristup i koje integracije i dalje zahtijevaju obrasce temeljene na API ključu.
Širi signal je jasan: AI pristupnici postaju upravljačka infrastruktura, a ne samo proxy slojevi. Izbor modela i dalje je bitan, ali teži problem poduzeća je kontroliranje tko može koristiti koji model ili alat, prema kojoj politici, s kojim tragom troškova. Microsoftovo ažuriranje gura Azure API Management dalje u tu ulogu.