Microsoft aktualizoval vrstvu AI Gateway Azure API Management sadou ovládacích prvků, které jsou méně důležité pro experimentování s modelem a více pro produkční operace: stabilní modelové aliasy, přístup Microsoft Entra, podrobnější role AI Gateway, zásady v rozsahu brány a hlášení využití pro streamované odpovědi na dokončení chatu kompatibilní s OpenAI.

Vydání z 24. září není uvedení modelu na trh. Jedná se o aktualizaci řídicí roviny pro týmy, které již mají více aplikací, poskytovatelů, nasazení nebo zátěže agentů procházející bránou. To je důležité pro týmy platforem, které se snaží udržet flexibilní přístup k modelu, aniž by se směrování, ověřování, zásady a účtování tokenů rozptýlily po kódu aplikace.

Co se změnilo v Azure AI Gateway

Hlavní změnou jsou aliasy modelů. Namísto toho, aby aplikace přímo volala konkrétní model backendového katalogu, může nyní Azure API Management AI Gateway odhalit stabilní název modelu pro klienty. Cíl backendu se může změnit, zatímco aplikace pokračuje ve volání aliasu.

Tato abstrakce je užitečná v běžných softwarových podmínkách, ale je zvláště užitečná pro operace LLM. Názvy modelů, nasazení, oblasti a poskytovatelé se mohou měnit rychleji než cykly vydávání podnikových aplikací. Alias ​​poskytuje platformovým týmům způsob, jak přesunout provoz na novější nasazení, standardizovat pojmenování mezi týmy nebo skrýt složitost backendu před klientskými aplikacemi.

Aktualizace také přidává podporu pro přístupové tokeny Microsoft Entra jako možnost ověřování pro klienty brány. Klíče API zůstávají běžné v integracích AI, ale klíče s dlouhou životností je obtížné řídit ve velkém měřítku. Přístup založený na systému Entra poskytuje podnikům další cestu: přístup založený na identitě, který lépe vyhovuje stávajícím zásadám přístupu, praktikám podmíněného přístupu a správě životního cyklu zaměstnanců nebo hlavních služeb.

Microsoft také rozšířil možnosti přiřazení rolí. Role brány AI lze nyní přidělovat přes bránu nebo úžeji přiřadit alias modelu nebo server MCP. To je důležité, protože brány umělé inteligence stále více upřednostňují více než jeden druh zdrojů. Jeden tým může potřebovat práva ke správě konkrétního aliasu pro interního asistenta, zatímco jiný tým spravuje server MCP, který agentům zpřístupňuje obchodní nástroje.

Proč záleží na zachycení využití streamovaného obsahu

Pro vývojáře používající rozhraní API může být provozně nejvýznamnější změna méně viditelná. Streamování odpovědí Dokončení chatu kompatibilního s OpenAI nyní zahrnuje objekt použití, i když klienti nepožadují stream_options.include_usage.

Tím se uzavírá běžná účetní mezera. Streamování je atraktivní pro druhé piloty, asistenty kódování a rozhraní agentů, protože snižuje vnímanou latenci. Pokud však využití tokenu není spolehlivě zachyceno pro každou streamovanou odpověď, mohou se panely nákladů, vynucení kvót, počítadla rozpočtu a analýzy využití odchýlit od reality.

Vynucením zachycování využití streamovaného na vrstvě brány může Azure API Management vylepšit následnou telemetrii, aniž by se musel spoléhat na to, že si každý aplikační tým zapamatuje správnou možnost požadavku. Pro firmy provozující sdílené platformy umělé inteligence je to rozdíl mezi vykazováním nákladů na poradenství a vymahatelnou atribucí nákladů.

Tady se aktualizace také připojuje k širší infrastruktura Enterprise LLM API. Mnoho organizací má za sebou fázi, kdy jeden tým nazývá jeden model s jedním klíčem. Nyní potřebují centrální směrování, auditovatelnost, ovládací prvky zásad a nákladové signály, které přežijí výměny modelu a přepisy aplikací.

Koho se to týká

Přímým publikem jsou týmy pro vývoj platforem, cloudovou infrastrukturu, zabezpečení a vývojářské týmy využívající Azure API Management jako bránu AI. Vývojáři aplikací mohou zaznamenat změny většinou v podobě jednodušších koncových bodů a menšího počtu rozhodnutí o zpracování pověření, ale důsledky pro správu jsou vyšší v zásobníku.

Pro bezpečnostní týmy snižuje přístup Entra závislost na statických klíčích API pro přístup k bráně. Neodstraňuje potřebu klíčového řízení všude, protože poskytovatelé upstream, pověření pro nasazení a přístup mezi službami mohou stále vyžadovat samostatné kontroly. Podnikům zaměřeným na Microsoft však poskytuje známou rovinu identity pro jednu důležitou součást cesty AI.

Pro platformové týmy snižují aliasy modelů propojení mezi aplikacemi a nasazením backendových modelů. Díky tomu bude migrace méně rušivá. Může také čistit zpětný chod a vzory řízení provozu, protože alias brány se může stát smlouvou, zatímco implementace backendu zůstává nastavitelná.

Pro finanční, provozní a produktové lídry by změna streamovaného využití měla usnadnit přiřazení výdajů na AI.Streamování je často pracovním zatížením, které obchodní uživatelé skutečně vidí: podpůrní kopiloti, obchodní asistenti, pomocníci s kódem a interní znalostní agenti. Pokud jsou tyto pracovní zátěže podhodnoceny nebo nekonzistentně počítány, kontroly rozpočtu a analýza návratnosti investic budou slabší.

Praktické důsledky a otevřené otázky

Praktický krátkodobý efekt je, že týmy platformy AI založené na Azure mohou do brány přesunout více správy. Namísto rozptýlení názvů modelů, kontrol zásad a předpokladů telemetrie napříč úložišti aplikací mohou více této logiky soustředit do spravovaného kontrolního bodu.

Zásady v rozsahu brány jsou součástí stejného vzoru. Microsoft říká, že zásady mohou aplikovat ochranné zábradlí na kompatibilní modely, aliasy a servery MCP. To by mělo snížit posun politik při přidávání nových modelů nebo serverů nástrojů. Pomáhá to také vyhnout se známému režimu selhání: jedna aplikace získá aktualizované pravidlo zabezpečení, protokolování nebo směrování, zatímco jiná si ponechává starší implementaci, protože logika byla vložena lokálně.

Stále existují otázky, které musí kupující a tvůrci otestovat ve svém vlastním prostředí. Vydání popisuje nové možnosti, ale týmy budou muset ještě ověřit, jak aliasy odpovídají jejich procesu nasazení, jak se chová dědičnost zásad ve složitých konfiguracích bran a jak objekty využití proudí do jejich stávajících telemetrických a fakturačních systémů. Podniky se také budou muset rozhodnout, které pracovní zátěže by měly okamžitě používat přístup Entra a které integrace stále vyžadují vzory založené na klíčích API.

Širší signál je jasný: brány umělé inteligence se stávají infrastrukturou řízení, nikoli pouze vrstvami proxy. Na výběru modelu stále záleží, ale těžším podnikovým problémem je kontrola toho, kdo může použít který model nebo nástroj, podle jaké politiky a s jakou nákladovou stopou. Aktualizace od Microsoftu posouvá Azure API Management dále do této role.