Microsoft a mis à jour le niveau AI Gateway de la gestion des API Azure avec un ensemble de contrôles qui importent moins pour l'expérimentation du modèle que pour les opérations de production : alias de modèle stables, accès Microsoft Entra, rôles AI Gateway plus granulaires, stratégies étendues à la passerelle et rapports d'utilisation pour les réponses de chat complétions en streaming compatibles OpenAI.
La version du 24 septembre n'est pas un lancement de modèle. Il s'agit d'une mise à jour du plan de contrôle destinée aux équipes qui disposent déjà de plusieurs applications, fournisseurs, déploiements ou charges de travail d'agent circulant via une passerelle. Il est donc important pour les équipes de plateforme qui tentent de conserver un accès flexible aux modèles sans laisser le routage, l'authentification, les stratégies et la comptabilité des jetons se disperser dans le code de l'application.
Ce qui a changé dans Azure AI Gateway
Le principal changement concerne les alias de modèle. Au lieu d’exiger qu’une application appelle directement un modèle de catalogue back-end spécifique, Azure API Management AI Gateway peut désormais exposer un nom de modèle stable destiné au client. La cible du backend peut changer pendant que l'application continue d'appeler l'alias.
Cette abstraction est utile en termes logiciels ordinaires, mais elle est particulièrement utile pour les opérations LLM. Les noms de modèles, les déploiements, les régions et les fournisseurs peuvent changer plus rapidement que les cycles de publication des applications d'entreprise. Un alias donne aux équipes de plate-forme un moyen de déplacer le trafic vers un déploiement plus récent, de standardiser la dénomination entre les équipes ou de masquer la complexité du backend aux applications clientes.
La mise à jour ajoute également la prise en charge des jetons d'accès Microsoft Entra comme option d'authentification pour les clients de passerelle. Les clés API restent courantes dans les intégrations d’IA, mais les clés à long terme sont difficiles à gérer à grande échelle. L'accès basé sur Entra offre aux entreprises une autre voie : un accès basé sur l'identité qui peut mieux s'adapter aux politiques d'accès existantes, aux pratiques d'accès conditionnel et à la gestion du cycle de vie des employés ou des principaux services.
Microsoft a également étendu les options d'attribution de rôles. Les rôles AI Gateway peuvent désormais être attribués via une passerelle ou limités plus étroitement à un alias de modèle ou à un serveur MCP. C’est important car les passerelles d’IA s’adressent de plus en plus à plus d’un type de ressources. Une équipe peut avoir besoin de droits pour gérer un alias spécifique pour un assistant interne, tandis qu'une autre équipe gère un serveur MCP qui expose les outils commerciaux aux agents.
Pourquoi la capture d'utilisation en streaming est importante
Le changement le plus significatif sur le plan opérationnel peut être moins visible pour les développeurs utilisant l'API. Les réponses de chat complet en streaming compatibles OpenAI incluent désormais un objet d'utilisation même lorsque les clients ne demandent pas stream_options.include_usage.
Cela comble une lacune comptable courante. Le streaming est attrayant pour les copilotes, les assistants de codage et les interfaces d'agent orientés utilisateur, car il réduit la latence perçue. Mais si l'utilisation des jetons n'est pas capturée de manière fiable pour chaque réponse diffusée en continu, les tableaux de bord des coûts, l'application des quotas, les compteurs budgétaires et les analyses d'utilisation peuvent s'écarter de la réalité.
En forçant la capture de l'utilisation en continu au niveau de la couche passerelle, Azure API Management peut améliorer la télémétrie en aval sans que chaque équipe d'application se souvienne de la bonne option de requête. Pour les entreprises exécutant des plates-formes d'IA partagées, c'est la différence entre les rapports consultatifs sur les coûts et l'attribution des coûts exécutoire.
C'est également là que la mise à jour se connecte à une infrastructure API LLM d'entreprise plus large. De nombreuses organisations ont dépassé le stade où une équipe appelle un modèle avec une seule clé. Ils ont désormais besoin d'un routage central, d'une auditabilité, de contrôles de politique et de signaux de coûts qui survivent aux échanges de modèles et aux réécritures d'applications.
Qui est concerné
Le public direct est constitué des équipes d'ingénierie de plateforme, d'infrastructure cloud, de sécurité et d'expérience de développement qui utilisent Azure API Management comme passerelle d'IA. Les développeurs d'applications peuvent ressentir les changements principalement sous la forme de points de terminaison plus simples et de moins de décisions de gestion des informations d'identification, mais les implications en matière de gouvernance se situent plus haut dans la pile.
Pour les équipes de sécurité, l'accès Entra réduit la dépendance à l'égard des clés API statiques pour l'accès à la passerelle. Cela n’élimine pas le besoin d’une gouvernance clé partout, car les fournisseurs en amont, les informations d’identification de déploiement et l’accès service à service peuvent toujours nécessiter des contrôles distincts. Mais cela donne aux entreprises centrées sur Microsoft un plan d'identité familier pour une partie importante du chemin du trafic de l'IA.
Pour les équipes de plateforme, les alias de modèle réduisent le couplage entre les applications et les déploiements de modèles back-end. Cela peut rendre les migrations moins perturbatrices. Cela peut également rendre les modèles de restauration et de gestion du trafic plus propres, car un alias de passerelle peut devenir le contrat tandis que la mise en œuvre du backend reste réglable.
Pour les responsables financiers, opérationnels et produits, le changement d'utilisation en streaming devrait faciliter l'attribution des dépenses en IA.Les charges de travail en streaming sont souvent celles que les utilisateurs professionnels voient réellement : copilotes d'assistance, assistants commerciaux, assistants de code et agents de connaissances internes. Si ces charges de travail sont sous-estimées ou comptabilisées de manière incohérente, les contrôles budgétaires et l'analyse du retour sur investissement s'affaiblissent.
Conséquences pratiques et questions ouvertes
L'effet pratique à court terme est que les équipes de la plateforme d'IA basée sur Azure peuvent déplacer davantage de gouvernance vers la passerelle. Au lieu de disperser les noms de modèles, les vérifications de politiques et les hypothèses de télémétrie dans les référentiels d'applications, ils peuvent concentrer davantage de cette logique dans un point de contrôle géré.
Les politiques à l'échelle de la passerelle font partie du même modèle. Microsoft affirme que les politiques peuvent appliquer des garde-fous sur les modèles, alias et serveurs MCP compatibles. Cela devrait réduire la dérive des politiques à mesure que de nouveaux modèles ou serveurs d’outils sont ajoutés. Cela permet également d'éviter un mode de défaillance familier : une application obtient la règle de sécurité, de journalisation ou de routage mise à jour tandis qu'une autre conserve une implémentation plus ancienne car la logique a été intégrée localement.
Il y a encore des questions que les acheteurs et les constructeurs doivent tester dans leurs propres environnements. La version décrit les nouvelles fonctionnalités, mais les équipes devront toujours valider la façon dont les alias s'adaptent à leur processus de déploiement, comment l'héritage des politiques se comporte dans des configurations de passerelle complexes et comment les objets d'utilisation circulent dans leurs systèmes de télémétrie et de facturation existants. Les entreprises devront également décider quelles charges de travail doivent utiliser immédiatement l'accès Entra et quelles intégrations nécessitent toujours des modèles basés sur des clés API.
Le signal plus large est clair : les passerelles d'IA deviennent une infrastructure de gouvernance, et pas seulement des couches proxy. Le choix du modèle est toujours important, mais le problème le plus difficile pour les entreprises est de contrôler qui peut utiliser quel modèle ou outil, dans le cadre de quelle politique et avec quel suivi des coûts. La mise à jour de Microsoft pousse Azure API Management plus loin dans ce rôle.