Microsoft aktualizoval vrstvu AI Gateway v Azure API Management súborom ovládacích prvkov, ktoré sú menej dôležité pre experimentovanie s modelom a viac pre produkčné operácie: stabilné modelové aliasy, prístup Microsoft Entra, podrobnejšie roly AI Gateway, pravidlá v rozsahu brány a hlásenia o využití pre streamované odpovede na dokončenia chatu kompatibilné s OpenAI.

Vydanie z 24. septembra nie je predstavenie modelu. Ide o aktualizáciu riadiacej úrovne pre tímy, ktoré už majú viacero aplikácií, poskytovateľov, nasadení alebo záťaže agentov, ktoré sa pohybujú cez bránu. Preto je dôležité pre tímy platforiem, ktoré sa snažia zachovať flexibilitu prístupu k modelu bez toho, aby sa smerovanie, overovanie, politika a účtovanie tokenov roztrúsilo po kóde aplikácie.

Čo sa zmenilo v Azure AI Gateway

Hlavnou zmenou sú aliasy modelov. Namiesto toho, aby aplikácia vyžadovala priame volanie konkrétneho modelu backendového katalógu, Azure API Management AI Gateway teraz dokáže odhaliť stabilný názov modelu pre klienta. Cieľ backendu sa môže meniť, zatiaľ čo aplikácia pokračuje vo volaní aliasu.

Táto abstrakcia je užitočná v bežných softvérových podmienkach, ale je užitočná najmä pre operácie LLM. Názvy modelov, nasadenia, oblasti a poskytovatelia sa môžu meniť rýchlejšie ako cykly vydávania podnikových aplikácií. Alias ​​poskytuje platformovým tímom spôsob, ako presunúť prevádzku na novšie nasadenie, štandardizovať pomenovanie medzi tímami alebo skryť zložitosť backendu pred klientskymi aplikáciami.

Aktualizácia tiež pridáva podporu pre prístupové tokeny Microsoft Entra ako možnosť overenia pre klientov brány. Kľúče API zostávajú bežné v integráciách AI, ale dlhotrvajúce kľúče je ťažké riadiť vo veľkom rozsahu. Entra-based prístup dáva podnikom inú cestu: prístup založený na identite, ktorý môže lepšie zapadať do existujúcich prístupových politík, postupov podmieneného prístupu a riadenia životného cyklu zamestnancov alebo hlavných služieb.

Microsoft tiež rozšíril možnosti prideľovania rolí. Roly AI Gateway môžu byť teraz priradené cez bránu alebo užšie ohraničené na modelový alias alebo MCP server. To je dôležité, pretože brány AI čoraz viac uprednostňujú viac ako jeden druh zdrojov. Tím môže potrebovať práva na správu konkrétneho aliasu interného asistenta, zatiaľ čo iný tím spravuje server MCP, ktorý poskytuje obchodné nástroje agentom.

Prečo je dôležité zaznamenávať streamované využitie

Najdôležitejšia prevádzkovo najvýznamnejšia zmena môže byť pre vývojárov používajúcich rozhranie API menej viditeľná. Streamovanie odpovedí dokončenia konverzácií kompatibilných s OpenAI teraz zahŕňa objekt použitia, aj keď klienti nepožadujú stream_options.include_usage.

Tým sa uzatvára bežná účtovná medzera. Streamovanie je atraktívne pre kopilotov, asistentov kódovania a rozhrania agentov, pretože znižuje vnímanú latenciu. Ak však využitie tokenu nie je spoľahlivo zachytené pri každej streamovanej odpovedi, informačné panely nákladov, presadzovanie kvót, počítadlá rozpočtu a analýzy využitia sa môžu odchýliť od reality.

Vynútením zachytenia streamovaného využitia na vrstve brány môže Azure API Management zlepšiť následnú telemetriu bez toho, aby sa musel spoliehať na to, že si každý aplikačný tím zapamätá správnu možnosť požiadavky. Pre firmy prevádzkujúce zdieľané platformy AI je to rozdiel medzi vykazovaním nákladov na poradenstvo a vynútiteľným pripisovaním nákladov.

Toto je tiež miesto, kde sa aktualizácia pripája k širšej infraštruktúre rozhrania Enterprise LLM API. Mnohé organizácie prešli fázou, keď jeden tím volá jeden model s jedným kľúčom. Teraz potrebujú centrálne smerovanie, auditovateľnosť, riadenie politík a nákladové signály, ktoré prežijú výmeny modelov a prepisy aplikácií.

Koho sa to týka

Priamym publikom sú tímy pre inžinierstvo platforiem, cloudovú infraštruktúru, bezpečnosť a vývojárske tímy využívajúce Azure API Management ako bránu AI. Vývojári aplikácií môžu zaznamenať zmeny väčšinou v podobe jednoduchších koncových bodov a menšieho počtu rozhodnutí o manipulácii s povereniami, ale dôsledky pre správu sú vyššie v zásobníku.

Pre bezpečnostné tímy prístup Entra znižuje závislosť od statických kľúčov API pre prístup k bráne. Neodstraňuje potrebu kľúčového riadenia všade, pretože upstream poskytovatelia, poverenia na nasadenie a prístup k službám môžu stále vyžadovať samostatné kontroly. Podnikom zameraným na Microsoft však poskytuje známu rovinu identity pre jednu dôležitú časť cesty AI.

Pre platformové tímy znižujú aliasy modelov prepojenie medzi aplikáciami a nasadením backendových modelov. To môže spôsobiť, že migrácia bude menej rušivá. Môže tiež vylepšiť vzory vrátenia a riadenia návštevnosti, pretože alias brány sa môže stať zmluvou, zatiaľ čo implementácia backendu zostáva nastaviteľná.

Pre vedúcich financií, operácií a produktov by zmena streamovaného používania mala uľahčiť priraďovanie výdavkov na AI.Streamovanie pracovných zaťažení je často pracovné zaťaženie, ktoré obchodní používatelia skutočne vidia: podporní kopiloti, asistenti predaja, pomocníci s kódom a interní znalostní agenti. Ak sú tieto pracovné záťaže podhodnotené alebo nekonzistentne započítané, kontroly rozpočtu a analýza návratnosti investícií sa stanú slabšími.

Praktické dôsledky a otvorené otázky

Praktický krátkodobý efekt je, že tímy platformy AI založenej na Azure môžu presunúť viac správy do brány. Namiesto rozhadzovania názvov modelov, kontrol politík a predpokladov telemetrie naprieč úložiskami aplikácií môžu viac tejto logiky sústrediť do riadeného kontrolného bodu.

Politiky v rozsahu brány sú súčasťou rovnakého vzoru. Microsoft hovorí, že zásady môžu aplikovať ochranné zábradlia na kompatibilné modely, aliasy a servery MCP. To by malo znížiť posun politiky pri pridávaní nových modelov alebo serverov nástrojov. Pomáha to tiež vyhnúť sa známemu režimu zlyhania: jedna aplikácia získa aktualizované pravidlo bezpečnosti, protokolovania alebo smerovania, zatiaľ čo iná si ponechá staršiu implementáciu, pretože logika bola vložená lokálne.

Stále existujú otázky, ktoré musia kupujúci a tvorcovia otestovať vo svojom vlastnom prostredí. Vydanie popisuje nové možnosti, ale tímy budú musieť ešte overiť, ako aliasy zodpovedajú procesu ich nasadenia, ako sa správa dedenie politiky v zložitých konfiguráciách brán a ako objekty používania prúdia do ich existujúcich telemetrických a fakturačných systémov. Podniky sa tiež budú musieť rozhodnúť, ktoré pracovné zaťaženia by mali okamžite využívať prístup Entra a ktoré integrácie stále vyžadujú vzory založené na kľúčoch API.

Širší signál je jasný: brány AI sa stávajú infraštruktúrou riadenia, nielen vrstvami proxy. Voľba modelu je stále dôležitá, ale ťažší podnikový problém je kontrolovať, kto môže použiť ktorý model alebo nástroj, podľa akej politiky, s akými nákladmi. Aktualizácia od spoločnosti Microsoft posúva Azure API Management ešte viac do tejto úlohy.