Microsoft, Azure API Yönetimi'nin AI Ağ Geçidi katmanını, model denemeleri için daha az ve üretim operasyonları için daha fazla önem taşıyan bir dizi denetimle güncelledi: kararlı model takma adları, Microsoft Entra erişimi, daha ayrıntılı AI Ağ Geçidi rolleri, ağ geçidi kapsamlı ilkeler ve akışlı OpenAI uyumlu Sohbet Tamamlama yanıtları için kullanım raporlaması.

24 Eylül sürümü bir model lansmanı değildir. Halihazırda birden fazla uygulamaya, sağlayıcıya, dağıtıma veya bir ağ geçidi üzerinden hareket eden aracı iş yüküne sahip ekipler için bir kontrol düzlemi güncellemesidir. Bu, yönlendirme, kimlik doğrulama, politika ve belirteç hesaplamasının uygulama koduna dağılmasına izin vermeden model erişimini esnek tutmaya çalışan platform ekipleri için bunu önemli hale getiriyor.

Azure AI Gateway'de değişenler

Başlık değişikliği model takma adlarıdır. Azure API Management AI Gateway, bir uygulamanın doğrudan belirli bir arka uç katalog modelini çağırmasını zorunlu kılmak yerine artık kararlı, istemciye yönelik bir model adını ortaya çıkarabilir. Uygulama takma adı çağırmaya devam ederken arka uç hedefi değişebilir.

Bu soyutlama sıradan yazılım terimlerinde faydalıdır ancak özellikle LLM operasyonları için faydalıdır. Model adları, dağıtımlar, bölgeler ve sağlayıcılar, kurumsal uygulama sürüm döngülerinden daha hızlı değişebilir. Takma ad, platform ekiplerine trafiği daha yeni bir dağıtıma taşıma, ekipler arasında adlandırmayı standartlaştırma veya arka uç karmaşıklığını istemci uygulamalarından gizleme yolu sağlar.

Güncelleme aynı zamanda ağ geçidi istemcileri için bir kimlik doğrulama seçeneği olarak Microsoft Entra erişim belirteçlerine yönelik destek de ekler. API anahtarları yapay zeka entegrasyonlarında yaygın olmaya devam ediyor ancak uzun ömürlü anahtarların geniş ölçekte yönetilmesi zordur. Entra tabanlı erişim, kuruluşlara başka bir yol sunar: mevcut erişim politikalarına, koşullu erişim uygulamalarına ve çalışan veya hizmet sorumlusu yaşam döngüsü yönetimine daha iyi uyum sağlayabilecek kimlik tabanlı erişim.

Microsoft ayrıca rol atama seçeneklerini de genişletti. AI Ağ Geçidi rolleri artık bir ağ geçidi üzerinden atanabilir veya kapsamı bir model takma adına veya MCP sunucusuna daha dar bir şekilde belirlenebilir. Bu önemli çünkü yapay zeka ağ geçitleri giderek birden fazla kaynak türünü ön plana çıkarıyor. Bir ekip, dahili bir asistan için belirli bir takma adı yönetme haklarına ihtiyaç duyabilirken başka bir ekip, iş araçlarını aracıların kullanımına sunan bir MCP sunucusunu yönetebilir.

Akışlı kullanım yakalama neden önemlidir?

Operasyonel açıdan en önemli değişiklik, API kullanan geliştiriciler tarafından daha az görülebilir. Akışlı OpenAI uyumlu Sohbet Tamamlama yanıtları artık istemciler stream_options.include_usage talebinde bulunmasa bile bir kullanım nesnesi içeriyor.

Bu, yaygın bir muhasebe açığını kapatıyor. Akış, algılanan gecikmeyi azalttığı için kullanıcıya yönelik yardımcı pilotlar, kodlama asistanları ve aracı arayüzleri için caziptir. Ancak akışa alınan her yanıt için belirteç kullanımı güvenilir bir şekilde yakalanmazsa maliyet panoları, kota uygulaması, bütçe sayaçları ve kullanım analizleri gerçeklikten uzaklaşabilir.

Azure API Management, ağ geçidi katmanında akışlı kullanım yakalamayı zorlayarak, her uygulama ekibinin doğru istek seçeneğini hatırlamasına güvenmeden aşağı akış telemetrisini iyileştirebilir. Paylaşılan yapay zeka platformları çalıştıran işletmeler için tavsiye niteliğindeki maliyet raporlaması ile uygulanabilir maliyet ilişkilendirmesi arasındaki fark budur.

Bu aynı zamanda güncellemenin daha geniş kurumsal LLM API altyapısına bağlandığı yerdir. Pek çok kuruluş, bir ekibin tek bir modeli tek anahtarla çağırdığı aşamayı geçti. Artık merkezi yönlendirmeye, denetlenebilirliğe, politika kontrollerine ve model değiştirme ve uygulama yeniden yazma işlemlerine dayanabilecek maliyet sinyallerine ihtiyaçları var.

Kimler etkilenir?

Doğrudan hedef kitle, Azure API Management'ı yapay zeka ağ geçidi olarak kullanan platform mühendisliği, bulut altyapısı, güvenlik ve geliştirici-deneyim ekipleridir. Uygulama geliştiricileri, değişiklikleri çoğunlukla daha basit uç noktalar ve daha az kimlik bilgisi işleme kararları olarak deneyimleyebilir, ancak yönetişim sonuçları yığında daha üst sıralarda yer alır.

Güvenlik ekipleri için Entra erişimi, ağ geçidi erişimi için statik API anahtarlarına bağımlılığı azaltır. Yukarı akış sağlayıcıları, dağıtım kimlik bilgileri ve hizmetten hizmete erişim hâlâ ayrı kontroller gerektirebileceğinden, her yerde anahtar yönetim ihtiyacını ortadan kaldırmaz. Ancak Microsoft merkezli kuruluşlara yapay zeka trafik yolunun önemli bir kısmı için tanıdık bir kimlik düzlemi sağlar.

Platform ekipleri için model takma adları, uygulamalar ile arka uç model dağıtımları arasındaki bağlantıyı azaltır. Bu, geçişleri daha az rahatsız edici hale getirebilir. Ayrıca, arka uç uygulaması ayarlanabilir kalırken ağ geçidi takma adı sözleşme haline gelebileceğinden, geri alma ve trafik yönetimi modellerini daha temiz hale getirebilir.

Finans, operasyonlar ve ürün liderleri için akışlı kullanım değişikliği, yapay zeka harcamalarının daha kolay ilişkilendirilmesini sağlamalıdır.Akışlı iş yükleri genellikle iş kullanıcılarının gerçekte gördüğü iş yükleridir: destek yardımcı pilotları, satış asistanları, kod yardımcıları ve dahili bilgi aracıları. Bu iş yükleri eksik sayılırsa veya tutarsız bir şekilde sayılırsa bütçe kontrolleri ve yatırım getirisi analizi zayıflar.

Pratik sonuçlar ve açık sorular

Kısa vadeli pratik etki, Azure tabanlı AI platform ekiplerinin ağ geçidine daha fazla yönetişim taşıyabilmesidir. Model adlarını, politika kontrollerini ve telemetri varsayımlarını uygulama depolarına dağıtmak yerine, bu mantığın daha fazlasını yönetilen bir kontrol noktasında yoğunlaştırabilirler.

Ağ geçidi kapsamlı politikalar aynı modelin parçasıdır. Microsoft, politikaların uyumlu modeller, takma adlar ve MCP sunucuları arasında korumalar uygulayabileceğini söylüyor. Bu, yeni modeller veya araç sunucuları eklendikçe politika sapmalarını azaltacaktır. Aynı zamanda tanıdık bir hata modunun önlenmesine de yardımcı olur: Bir uygulama güncellenmiş güvenlik, günlük kaydı veya yönlendirme kuralını alırken diğeri, mantık yerel olarak yerleşik olduğu için daha eski bir uygulamayı korur.

Alıcıların ve inşaatçıların kendi ortamlarında test edecekleri hâlâ sorular var. Sürümde yeni özellikler açıklanıyor ancak ekiplerin yine de takma adların dağıtım süreçlerine nasıl uyduğunu, karmaşık ağ geçidi yapılandırmalarında politika mirasının nasıl davrandığını ve kullanım nesnelerinin mevcut telemetri ve faturalandırma sistemlerine nasıl aktığını doğrulamaları gerekecek. Kuruluşların ayrıca hangi iş yüklerinin Entra erişimini hemen kullanması gerektiğine ve hangi entegrasyonların hâlâ API anahtarı tabanlı modeller gerektirdiğine karar vermesi gerekecek.

Daha geniş sinyal açık: Yapay zeka ağ geçitleri yalnızca proxy katmanları değil, yönetişim altyapısı haline geliyor. Model seçimi hala önemlidir, ancak kurumsal olarak daha zor olan sorun, kimin hangi modeli veya aracı, hangi politika kapsamında, hangi maliyet takibiyle kullanabileceğini kontrol etmektir. Microsoft'un güncellemesi, Azure API Management'ı bu role daha da ileri taşıyor.