Microsoft 更新了 Azure API 管理的一组控件,这些控件对于模型实验来说不太重要,而对于生产操作来说更重要:稳定的模型别名、Microsoft Entra 访问权限、更细粒度的 AI 网关角色、网关范围的策略以及流式 OpenAI 兼容的聊天完成响应的使用情况报告。
9 月 24 日的版本不是模型发布。这是针对已经拥有多个通过网关移动的应用程序、提供商、部署或代理工作负载的团队的控制平面更新。这对于平台团队来说非常重要,他们要努力保持模型访问的灵活性,同时又不让路由、身份验证、策略和令牌记账分散在应用程序代码中。
Azure AI Gateway 中发生的变化
主要变化是模型别名。 Azure API 管理 AI 网关现在可以公开一个稳定的、面向客户端的模型名称,而不是要求应用程序直接调用特定的后端目录模型。当应用程序继续调用别名时,后端目标可能会发生变化。
这种抽象在普通软件术语中非常有用,但对于 LLM 操作尤其有用。模型名称、部署、区域和提供商的变化速度可能快于企业应用程序发布周期。别名为平台团队提供了一种将流量转移到较新部署、标准化跨团队命名或隐藏客户端应用程序后端复杂性的方法。
此更新还添加了对 Microsoft Entra 访问令牌的支持,作为网关客户端的身份验证选项。 API 密钥在 AI 集成中仍然很常见,但长期密钥难以大规模管理。基于内部的访问为企业提供了另一条途径:基于身份的访问,可以更好地适应现有访问策略、条件访问实践以及员工或服务主体生命周期管理。
Microsoft 还扩展了角色分配选项。现在可以跨网关分配 AI 网关角色,或者将范围缩小到模型别名或 MCP 服务器。这很重要,因为人工智能网关越来越多地面对不止一种资源。一个团队可能需要权限来管理内部助理的特定别名,而另一个团队则管理向代理公开业务工具的 MCP 服务器。
为什么流式使用情况捕获很重要
对于使用 API 的开发人员来说,最重要的操作变化可能不太明显。即使客户端不请求 stream_options.include_usage,流式兼容 OpenAI 的聊天完成响应现在也包含使用对象。
这弥补了常见的会计差距。流媒体对于面向用户的副驾驶、编码助理和代理界面很有吸引力,因为它可以减少感知的延迟。但是,如果无法可靠地捕获每个流式响应的令牌使用情况,则成本仪表板、配额执行、预算计数器和使用情况分析可能会偏离现实。
通过在网关层强制捕获流式使用情况,Azure API管理可以改进下游遥测,而无需依赖每个应用程序团队记住正确的请求选项。对于运行共享 AI 平台的企业来说,这就是咨询成本报告和可执行成本归因之间的区别。
这也是更新连接到更广泛的企业 LLM API基础设施的地方。许多组织已经过了一个团队用一键调用一个模型的阶段。他们现在需要能够承受模型交换和应用程序重写的集中路由、可审核性、策略控制和成本信号。
受影响的人员
直接受众是使用 Azure API 管理作为 AI 网关的平台工程、云基础设施、安全和开发人员体验团队。应用程序开发人员可能会经历这些变化,主要是因为端点更简单,凭证处理决策更少,但治理影响在堆栈中处于更高的位置。
对于安全团队来说,Entra 访问减少了对网关访问静态 API 密钥的依赖。它并不能消除各处关键治理的需要,因为上游提供商、部署凭证和服务到服务的访问可能仍然需要单独的控制。但它为以 Microsoft 为中心的企业提供了一个熟悉的身份平面,用于 AI 流量路径的一个重要部分。
对于平台团队来说,模型别名可以减少应用程序和后端模型部署之间的耦合。这可以减少迁移的破坏性。它还可以使回滚和流量管理模式更加清晰,因为网关别名可以成为合同,而后端实现仍然可调整。
对于财务、运营和产品领导者来说,流式使用的变化应该使 AI 支出更容易归因。流工作负载通常是业务用户实际看到的工作负载:支持副驾驶、销售助理、代码助手和内部知识代理。如果这些工作负载计数不足或计数不一致,预算控制和投资回报率分析就会变得较弱。
实际后果和悬而未决的问题
近期的实际效果是,基于 Azure 的 AI 平台团队可以将更多治理转移到网关中。他们可以将更多逻辑集中在托管控制点中,而不是将模型名称、策略检查和遥测假设分散在应用程序存储库中。
网关范围的策略属于同一模式。微软表示,策略可以在兼容模型、别名和MCP服务器之间应用护栏。随着新模型或工具服务器的添加,这应该会减少策略漂移。它还有助于避免常见的故障模式:一个应用程序获取更新的安全性、日志记录或路由规则,而另一个应用程序则保留旧的实现,因为逻辑是本地嵌入的。
买家和构建者在自己的环境中进行测试时仍然存在一些问题。该版本描述了新功能,但团队仍然需要验证别名如何适合其部署过程、策略继承在复杂网关配置中的行为方式以及使用对象如何流入其现有的遥测和计费系统。企业还需要决定哪些工作负载应立即使用 Entra 访问,哪些集成仍需要基于API密钥的模式。
更广泛的信号很明确:AI 网关正在成为治理基础设施,而不仅仅是代理层。模型选择仍然很重要,但更困难的企业问题是控制谁可以使用哪种模型或工具、在哪种政策下以及哪种成本跟踪。 Microsoft 的更新将 Azure API 管理进一步推向这一角色。