Microsoft は、Azure API の AI ゲートウェイ層を更新しました。これには、安定したモデルのエイリアス、Microsoft Entra アクセス、より詳細な AI ゲートウェイ ロール、ゲートウェイ スコープのポリシー、ストリーミングされた OpenAI 互換のチャット完了応答の使用状況レポートなど、モデルの実験にはあまり関係なく、運用運用に重要な一連の制御が含まれています。
9 月 24 日のリリースはモデルの発表ではありません。これは、複数のアプリケーション、プロバイダー、デプロイメント、またはエージェントのワークロードをゲートウェイ経由で移動しているチーム向けのコントロール プレーンのアップデートです。そのため、プラットフォーム チームにとって、ルーティング、認証、ポリシー、トークン アカウンティングがアプリケーション コード全体に分散することなく、モデル アクセスの柔軟性を維持しようとすることが重要になります。
Azure AI Gateway での変更点
最も重要な変更点は、モデル エイリアスです。アプリケーションに特定のバックエンド カタログ モデルを直接呼び出すよう要求する代わりに、Azure API Management AI Gateway は安定したクライアント向けモデル名を公開できるようになりました。アプリケーションがエイリアスを呼び出し続けている間に、バックエンド ターゲットが変更される可能性があります。
この抽象化は通常のソフトウェア用語でも役立ちますが、LLM 操作では特に役立ちます。モデル名、デプロイメント、リージョン、プロバイダーは、エンタープライズ アプリケーションのリリース サイクルよりも早く変更される可能性があります。エイリアスにより、プラットフォーム チームはトラフィックを新しいデプロイメントに移動したり、チーム間で名前を標準化したり、クライアント アプリケーションからバックエンドの複雑さを隠したりすることができます。
このアップデートでは、ゲートウェイ クライアントの認証オプションとして Microsoft Entra アクセス トークンのサポートも追加されています。 AI 統合では API キーが依然として一般的ですが、有効期間の長いキーを大規模に管理するのは困難です。 Entra ベースのアクセスは、企業に別の道を提供します。それは、既存のアクセス ポリシー、条件付きアクセスの実践、従業員またはサービス プリンシパルのライフサイクル管理とより適合できる ID ベースのアクセスです。
Microsoft は、役割の割り当てオプションも拡張しました。 AI ゲートウェイのロールをゲートウェイ全体に割り当てたり、モデル エイリアスまたは MCP サーバーにさらに限定して割り当てたりできるようになりました。 AI ゲートウェイが複数の種類のリソースに対応することが増えているため、これは重要です。あるチームは内部アシスタントの特定のエイリアスを管理する権限が必要な場合がありますが、別のチームはビジネス ツールをエージェントに公開する MCP サーバーを管理しています。
ストリーミング使用状況のキャプチャが重要な理由
運用上最も重要な変更は、API を使用している開発者には見えにくい可能性があります。 OpenAI 互換のチャット完了応答のストリーミングには、クライアントが stream_options.include_usage を要求していない場合でも使用状況オブジェクトが含まれるようになりました。
これにより、一般的なアカウンティング ギャップが解消されます。ストリーミングは、知覚される遅延を削減するため、ユーザーと対面する副操縦士、コーディングアシスタント、およびエージェントインターフェイスにとって魅力的です。ただし、ストリーミングされた応答ごとにトークンの使用状況が確実にキャプチャされていない場合、コスト ダッシュボード、クォータの適用、予算カウンター、使用状況分析が現実から逸脱する可能性があります。
ゲートウェイ層でストリーミング使用状況のキャプチャを強制することで、Azure API 管理は、すべてのアプリケーション チームに正しい要求オプションを記憶させる必要がなく、ダウンストリーム テレメトリを改善できます。共有 AI プラットフォームを実行している企業にとって、それがアドバイザリーコストレポートと強制的なコスト帰属の違いです。
これは、アップデートがより広範な エンタープライズ LLM API インフラストラクチャ に接続する場所でもあります。多くの組織は、1 つのチームが 1 つのキーで 1 つのモデルを呼び出す段階を過ぎています。現在、一元的なルーティング、監査可能性、ポリシー制御、モデルの交換やアプリケーションの書き換え後も存続するコスト シグナルが必要です。
影響を受けるのは誰ですか
直接の対象者は、AI ゲートウェイとして Azure API Management を使用するプラットフォーム エンジニアリング、クラウド インフラストラクチャ、セキュリティ、および開発者エクスペリエンス チームです。アプリケーション開発者は、エンドポイントの簡素化と認証情報処理の決定の減少として主に変更を経験するかもしれませんが、ガバナンスへの影響はスタックの上位にあります。
セキュリティ チームにとって、Entra アクセスにより、ゲートウェイ アクセスの静的 API キーへの依存が軽減されます。上流のプロバイダー、デプロイメント資格情報、およびサービス間のアクセスには依然として個別の制御が必要な場合があるため、あらゆる場所でキー ガバナンスの必要性が排除されるわけではありません。しかし、Microsoft 中心の企業には、AI トラフィック パスの重要な部分の 1 つとして使い慣れた ID プレーンが提供されます。
プラットフォーム チームにとって、モデル エイリアスはアプリケーションとバックエンド モデルのデプロイメントの間の結合を軽減します。これにより、移行の中断が少なくなる可能性があります。また、バックエンドの実装は調整可能なままで、ゲートウェイ エイリアスをコントラクトにすることができるため、ロールバックとトラフィック管理のパターンをより明確にすることもできます。
財務、運用、製品のリーダーにとって、ストリーミング使用量の変更により、AI 支出の帰属が容易になるはずです。ストリーミング ワークロードは、サポート副操縦士、営業アシスタント、コード ヘルパー、社内ナレッジ エージェントなど、ビジネス ユーザーが実際に目にするワークロードであることがよくあります。これらのワークロードが過少にカウントされたり、カウントに一貫性がない場合、予算管理と ROI 分析が弱体化します。
実際的な影響と未解決の疑問
実際的な短期的な効果は、Azure ベースの AI プラットフォーム チームがより多くのガバナンスをゲートウェイに移行できることです。モデル名、ポリシー チェック、テレメトリの仮定をアプリケーション リポジトリ全体に分散させる代わりに、そのロジックの多くを管理されたコントロール ポイントに集中させることができます。
ゲートウェイ スコープのポリシーは同じパターンの一部です。 Microsoft によれば、ポリシーは互換性のあるモデル、エイリアス、および MCP 台のサーバー全体にガードレールを適用できるとのことです。これにより、新しいモデルやツール サーバーが追加されたときのポリシーのドリフトが軽減されるはずです。また、よくある障害モードの回避にも役立ちます。つまり、あるアプリケーションでは更新された安全性、ロギング、またはルーティング ルールが取得されますが、別のアプリケーションではロジックがローカルに埋め込まれているため、古い実装が維持されます。
購入者と構築者が独自の環境でテストする必要があるという問題がまだ残っています。このリリースでは新機能について説明していますが、チームはエイリアスが展開プロセスにどのように適合するか、複雑なゲートウェイ構成全体でポリシー継承がどのように動作するか、使用状況オブジェクトが既存のテレメトリおよび課金システムにどのように流れるかを検証する必要があります。企業はまた、どのワークロードが Entra アクセスをすぐに使用する必要があるのか、どの統合が引き続き API キーベースのパターンを必要とするのかを決定する必要があります。
より広範な兆候は明らかです。AI ゲートウェイはプロキシ層だけでなくガバナンス インフラストラクチャになりつつあります。モデルの選択は依然として重要ですが、企業にとってより難しい問題は、誰がどのモデルまたはツールを、どのポリシーの下で、どのコストで使用できるかを制御することです。 Microsoft のアップデートにより、Azure API 管理者はその役割をさらに強化されました。