Cloudflare, AI Gateway'e, operatörlerin üçüncü taraf model isteklerinde sağlayıcı kimlik bilgileri istemesine olanak tanıyan bir kontrol ekledi. Değişiklik arayüz açısından küçük olsa da AI trafiğini bir ağ geçidi üzerinden yönlendiren ekipler için pratik bir yönetim sorununu ele alıyor: Bir müşteri, proje veya kiracı geçerli bir sağlayıcı anahtarı sağlamadığında ne olmalı?
Bu güncellemeden önce Cloudflare AI Gateway, Birleştirilmiş Faturalandırma kurulumunu desteklenen üçüncü taraf sağlayıcılar için bir geri dönüş yolu olarak kullanabiliyordu. Bu, bir isteğin aksi takdirde başarısız olacağı durumlarda kullanışlı olabilir, ancak aynı zamanda maliyet ilişkilendirme ve uyumluluk sınırlarını da bulanıklaştırabilir. Yeni Yalnızca BYOK ayarı, ağ geçidi sahiplerinin bu geri dönüşü önlemesine ve isteklerin bunun yerine açıkça sağlanan kendi anahtarını getir kimlik bilgilerini kullanmasını gerektirmesine olanak tanır.
Cloudflare, ayarın kontrol panelinde veya API aracılığıyla byok_only=true ile etkinleştirilebileceğini söylüyor. Ayrıca ekiplerin bireysel çağrılarda toptan veya Cloudflare tarafından yönetilen kimlik bilgisi kullanımını engellemek istediği durumlar için istek başına bir başlık olan cf-aig-no-wholesale eklendi.
Ne değişti?
14 Eylül AI Gateway değişiklik günlüğü, üçüncü taraf sağlayıcı istekleri için bir kimlik bilgisi gereksinimi getiriyor. Etkinleştirildiğinde, arayan kişinin kabul edilebilir sağlayıcı kimlik bilgileri sağlamaması durumunda ağ geçidi, Cloudflare tarafından yönetilen Birleşik Faturalandırma kimlik bilgilerine sessizce geri dönmez.
Yapay zeka ağ geçitleri giderek daha fazla dahili uygulama, harici müşteri ve birden fazla model sağlayıcı arasında yer aldığı için bu ayrım önemlidir. Eksik bir anahtar yalnızca teknik bir arıza modu değildir. Hangi tüzel kişinin faturalandırılacağına, hangi hesabın sağlayıcı kotasının tüketildiğine ve kullanımın doğru maliyet merkezinde görünüp görünmeyeceğine karar verebilir.
Yeni kontrol, platform ekiplerine daha sıkı bir çalışma modu sağlıyor. Ağ geçidi, eksik müşteri kimlik bilgilerini bir yönlendirme sorunu olarak ele almak yerine, bunları bir politika ihlali olarak değerlendirebilir. Bu, özellikle satıcı kurulumları, müşterinin sahip olduğu anahtar dağıtımları ve sağlayıcı ilişkisinin doğrudan bir iş birimine veya kiracıya bağlı kalmasının gerektiği kurumsal ortamlar için geçerlidir.
Yapay zeka ağ geçidi operatörleri için neden önemlidir?
Yapay zeka ağ geçidi tasarımı genellikle yönlendirme, gecikme, önbelleğe alma, yeniden denemeler ve model soyutlamaya odaklanmıştır. Faturalandırma davranışı da aynı ilgiyi hak ediyor. Bir ağ geçidi, bir yol mevcut olmadığında kimlik bilgisi modunu otomatik olarak değiştirirse, aşağı akış raporlaması yanıltıcı olabilir. Fatura başka bir yere giderken bir istek sıradan uygulama trafiği gibi görünebilir.
Operasyonel risk oluşturan merkezi AI API maliyet kontrolü katmanını çalıştıran işletmeler için. Finans ekipleri temiz ters ibraz verilerini kaybedebilir. Güvenlik ekipleri gerçekte hangi kimlik bilgilerinin kullanıldığını bilemeyebilir. Ürün ekipleri, bir kiracının kullanımının neden o kiracının kendi sağlayıcı hesabı yerine bir platform hesabı aracılığıyla faturalandırıldığını açıklamakta zorlanabilir.
Yalnızca BYOK modu müşteri taahhütlerine de yardımcı olur. Bazı alıcılar, model çağrılarının kendi sağlayıcı sözleşmelerine, veri işleme şartlarına veya bölgesel ayarlara göre yönetilmesini talep eder. Bir ağ geçidi, yönetilen faturalandırma kimlik bilgilerine geri dönebiliyorsa, geri dönüş politika tarafından devre dışı bırakılmadığı sürece bu taahhüdün uygulanması zorlaşır.
İstek başına başlık daha ayrıntılı bir seçenek ekler. Bir platform, bazı iş yükleri için daha geniş Birleştirilmiş Faturalandırma davranışını kullanılabilir tutarken, daha katı uyumluluk, bayi veya ilişkilendirme gereksinimleri taşıyan istekler için bunu engelleyebilir. Bu, geliştiricilere, her uygulamayı aynı anda en katı moda zorlamadan bir geçiş yolu sağlar.
Etkilenenler
Önceki hedef kitle, istekleri üçüncü taraf yapay zeka sağlayıcılarına proxy olarak göndermek için Cloudflare AI Gateway kullanan herhangi bir ekiptir. Bu değişiklik, birden fazla ekibin, kiracının veya müşterinin bir ağ geçidini paylaştığı ve sağlayıcı kimlik bilgilerinin merkezi platform hesabı dışında bulundurulmasının beklendiği durumlarda en alakalı olur.
Kurumsal yapay zeka platformu ekipleri, ağ geçidi davranışlarının dahili politikaya uygun olup olmadığını incelemelidir. Bir projenin kendi OpenAI, Anthropic, Google, Mistral veya başka bir sağlayıcı hesabını kullanması gerekiyorsa ağ geçidi bu bağımlılığı görünür ve uygulanabilir hale getirmelidir. Demonun başarılı olmasına yardımcı olan bir geri dönüş, bozuk kimlik bilgisi kurulumunu gizlediği takdirde üretimde sorun haline gelebilir.
Bayiler ve iş ortağı platformlarında aynı sorunun daha keskin bir versiyonu bulunmaktadır. Müşteriler kendi sağlayıcı anahtarlarını getirirse platform operatörleri, trafiğin yanlışlıkla platform faturalı kullanıma dönüştürülmeyeceğinden emin olmalıdır. Aksi takdirde marjlar, faturalar, denetim kayıtları ve müşteri güveni etkilenebilir.
Geliştiriciler de etkilenebilir, ancak çoğunlukla daha belirgin hata modları yoluyla. Yalnızca BYOK'un uygulanmasıyla, uygun kimlik bilgilerine sahip olmayan bir istek, alternatif bir faturalandırma yoluna yönlendirilmek yerine başarısız olacaktır.Bunun için daha iyi katılım kontrolleri, daha net hata yönetimi ve trafik yayına girmeden önce sağlayıcı anahtarlarını doğrulayan dağıtım testleri gerekebilir.
Pratik sonuçlar
İlk pratik adım politika envanteridir. Ekipler, hangi iş yüklerinin Cloudflare tarafından yönetilen Birleşik Faturalandırmayı kullanmasına izin verileceği ve hangilerinin müşteriye ait veya projeye ait sağlayıcı kimlik bilgilerini kullanması gerektiğine karar vermelidir. Bu karar açık olmalı, varsayılan ağ geçidi davranışına bırakılmamalıdır.
İkinci adım gözlemlenebilirliktir. Günlükler ve kullanım analitiği, hangi kimlik bilgisi modunun kullanıldığını, yalnızca BYOK etkinleştirildiği için bir isteğin engellenip engellenmediğini ve anahtarı hangi kiracının veya projenin sağladığını kaydetmelidir. Bu görünürlük olmadan, daha sıkı bir kontrol, faturalandırmadaki belirsizliği azaltabilir ancak yine de operatörlerin sorun giderme verilerinin yetersiz olmasına neden olabilir.
Üçüncü adım, geliştirici iş akışıdır. AI Gateway'e bağlı uygulamalar, kimlik bilgileri eksik olduğunda erken başarısız olmalıdır. Bir başlangıç kontrolü, dağıtım doğrulaması veya yönetici konsolu uyarısı, bir üretim isteği reddedildikten sonra sorunun keşfedilmesinden daha iyidir.
Geriye kalan belirsizlik, özelliğin kendisiyle ilgili olmaktan ziyade benimseme kalıplarıyla ilgilidir. Cloudflare yeni kontrolü belgeledi ancak her operatörün yine de onu nereye uygulayacağına karar vermesi gerekiyor. Bazı ekipler dahili deneyler için yedek faturalandırmanın esnekliğini tercih edecektir. Diğerleri ise üretim kiracısı trafiği için yalnızca BYOK'u varsayılan yapacaktır. Önemli değişiklik, bunun artık yönlendirme katmanının içinde saklı örtülü bir davranıştan ziyade bir yönetim tercihi olmasıdır.