Microsoft ha aggiornato il livello AI Gateway di Gestione API di Azure con una serie di controlli che contano meno per la sperimentazione del modello e più per le operazioni di produzione: alias del modello stabili, accesso a Microsoft Entra, ruoli AI Gateway più granulari, criteri con ambito gateway e report sull'utilizzo per le risposte in streaming di Completamenti chat compatibili con OpenAI.
La versione del 24 settembre non è un lancio di modello. Si tratta di un aggiornamento del piano di controllo per i team che dispongono già di più applicazioni, provider, distribuzioni o carichi di lavoro degli agenti che si spostano attraverso un gateway. Ciò rende importante per i team della piattaforma cercare di mantenere flessibile l'accesso al modello senza lasciare che routing, autenticazione, policy e token accounting vengano sparsi nel codice dell'applicazione.
Cosa è cambiato in Azure AI Gateway
La modifica principale riguarda gli alias del modello. Invece di richiedere a un'applicazione di chiamare direttamente un modello di catalogo back-end specifico, il gateway AI di Gestione API di Azure può ora esporre un nome di modello stabile rivolto al client. La destinazione del backend può cambiare mentre l'applicazione continua a chiamare l'alias.
Questa astrazione è utile in termini di software ordinari, ma è particolarmente utile per le operazioni LLM. I nomi dei modelli, le distribuzioni, le regioni e i provider possono cambiare più velocemente dei cicli di rilascio delle applicazioni aziendali. Un alias offre ai team della piattaforma un modo per spostare il traffico verso una distribuzione più recente, standardizzare i nomi tra i team o nascondere la complessità del backend dalle applicazioni client.
L'aggiornamento aggiunge inoltre il supporto per i token di accesso Microsoft Entra come opzione di autenticazione per i client gateway. Le chiavi API rimangono comuni nelle integrazioni IA, ma le chiavi di lunga durata sono difficili da gestire su larga scala. L'accesso basato su Entra offre alle aziende un altro percorso: l'accesso basato sull'identità che può adattarsi meglio alle policy di accesso esistenti, alle pratiche di accesso condizionato e alla gestione del ciclo di vita dei dipendenti o dei principali servizi.
Microsoft ha inoltre ampliato le opzioni di assegnazione dei ruoli. I ruoli AI Gateway possono ora essere assegnati attraverso un gateway o avere un ambito più ristretto a un alias modello o a un server MCP. Ciò è importante perché i gateway AI fronteggiano sempre più di un tipo di risorsa. Un team potrebbe aver bisogno dei diritti per gestire un alias specifico per un assistente interno, mentre un altro team gestisce un server MCP che espone gli strumenti aziendali agli agenti.
Perché l'acquisizione dell'utilizzo in streaming è importante
Il cambiamento più significativo dal punto di vista operativo potrebbe essere meno visibile agli sviluppatori che utilizzano l'API. Le risposte ai completamenti chat compatibili con OpenAI ora includono un oggetto di utilizzo anche quando i client non richiedono stream_options.include_usage.
Ciò colma una lacuna contabile comune. Lo streaming è interessante per i copiloti rivolti all'utente, gli assistenti di codifica e le interfacce degli agenti perché riduce la latenza percepita. Tuttavia, se l'utilizzo dei token non viene acquisito in modo affidabile per ogni risposta trasmessa in streaming, i dashboard dei costi, l'applicazione delle quote, i contatori del budget e l'analisi dell'utilizzo possono discostarsi dalla realtà.
Forzando l'acquisizione dell'utilizzo in streaming a livello gateway, Gestione API di Azure può migliorare la telemetria downstream senza fare affidamento su ogni team dell'applicazione per ricordare la giusta opzione di richiesta. Per le aziende che utilizzano piattaforme IA condivise, questa è la differenza tra reporting sui costi di consulenza e attribuzione dei costi applicabile.
È qui che l'aggiornamento si collega anche a un'infrastruttura API LLM aziendale più ampia. Molte organizzazioni hanno superato la fase in cui un team definisce un modello con una chiave. Ora hanno bisogno di routing centrale, verificabilità, controlli delle policy e segnali di costo che sopravvivano agli scambi di modelli e alle riscritture delle applicazioni.
Chi è interessato
Il pubblico diretto sono i team di ingegneria della piattaforma, infrastruttura cloud, sicurezza e sviluppatori che utilizzano Gestione API di Azure come gateway di intelligenza artificiale. Gli sviluppatori di applicazioni potrebbero riscontrare i cambiamenti principalmente come endpoint più semplici e meno decisioni sulla gestione delle credenziali, ma le implicazioni sulla governance sono più in alto nello stack.
Per i team di sicurezza, l'accesso Entra riduce la dipendenza dalle chiavi API statiche per l'accesso al gateway. Non elimina la necessità di una governance delle chiavi ovunque, perché i fornitori a monte, le credenziali di distribuzione e l’accesso da servizio a servizio potrebbero comunque richiedere controlli separati. Ma offre alle aziende incentrate su Microsoft un piano di identità familiare per una parte importante del percorso del traffico AI.
Per i team della piattaforma, gli alias del modello riducono l'accoppiamento tra le applicazioni e le distribuzioni del modello backend. Ciò può rendere le migrazioni meno dirompenti. Può anche rendere più puliti i modelli di rollback e di gestione del traffico, perché un alias del gateway può diventare il contratto mentre l'implementazione del backend rimane regolabile.
Per i leader finanziari, operativi e di prodotto, la modifica dell'utilizzo dello streaming dovrebbe rendere più facile attribuire la spesa per l'IA.I carichi di lavoro in streaming sono spesso i carichi di lavoro effettivamente visti dagli utenti aziendali: copiloti di supporto, assistenti alle vendite, assistenti di codice e agenti di conoscenza interni. Se tali carichi di lavoro vengono sottostimati o conteggiati in modo incoerente, i controlli del budget e l'analisi del ROI diventano più deboli.
Conseguenze pratiche e domande aperte
L'effetto pratico a breve termine è che i team della piattaforma AI basata su Azure possono spostare una maggiore governance nel gateway. Invece di distribuire nomi di modelli, controlli delle policy e ipotesi di telemetria tra i repository delle applicazioni, possono concentrare una parte maggiore di quella logica in un punto di controllo gestito.
Le policy con ambito gateway fanno parte dello stesso modello. Microsoft afferma che le policy possono applicare guardrail su modelli, alias e server MCP compatibili. Ciò dovrebbe ridurre la deriva politica man mano che vengono aggiunti nuovi modelli o server di strumenti. Aiuta anche a evitare una modalità di errore familiare: un'applicazione ottiene la regola di sicurezza, registrazione o instradamento aggiornata mentre un'altra mantiene un'implementazione precedente perché la logica è stata incorporata localmente.
Ci sono ancora domande che acquirenti e costruttori devono testare nei propri ambienti. La versione descrive le nuove funzionalità, ma i team dovranno ancora verificare in che modo gli alias si adattano al loro processo di distribuzione, come si comporta l'ereditarietà delle policy attraverso configurazioni gateway complesse e come gli oggetti di utilizzo confluiscono nei loro sistemi di telemetria e fatturazione esistenti. Le aziende dovranno inoltre decidere quali carichi di lavoro dovrebbero utilizzare immediatamente l'accesso Entra e quali integrazioni richiedono ancora modelli basati su chiavi API.
Il segnale più ampio è chiaro: i gateway AI stanno diventando infrastrutture di governance, non solo livelli proxy. La scelta del modello è ancora importante, ma il problema aziendale più difficile è controllare chi può utilizzare quale modello o strumento, in base a quale politica, con quale costo. L'aggiornamento di Microsoft spinge ulteriormente Gestione API di Azure in questo ruolo.