Cloudflare, Auto Router'ı AI Gateway için genel beta sürümünde yayınladı ve her yönlendirme kararını uygulama koduna bırakmak yerine ağ geçidi katmanına otomatik model seçimi ekledi. Yeni özellik her isteği değerlendirir, sorulan görevin türünü tahmin eder ve beklenen kalite, jeton maliyeti, gecikme ve kullanılabilirlik sinyallerini kullanarak uygun modeller arasından seçim yapar.

Model yönlendirmenin kurumsal yapay zeka altyapısının temel bir parçası haline gelmesi nedeniyle sürüm önemlidir. Birden fazla sağlayıcı kullanan ekipler için asıl sorun artık yalnızca modellere erişim sağlamak değil. Kararı daha sonra açıklamak için yeterli görünürlükle, belirli bir isteği hangi modelin hangi maliyet ve gecikme kısıtlamaları altında ele alması gerektiğine karar vermektir.

Cloudflare'in cevabı, bu mantığın daha fazlasını AI Gateway'in içine koymaktır. Otomatik Yönlendirici önce seçilen modeli deneyebilir ve sağlayıcının isteği yerine getirememesi durumunda uygun başka bir modele geri dönebilir. Bu, ağ geçidini yalnızca API çağrılar için bir geçiş proxy'si değil, bir politika ve yürütme noktası haline getirir.

Ne değişti

Bu sürümden önce birçok ekip uygulama kodunda, orkestrasyon çerçevelerinde veya özel yönlendirme hizmetlerinde model seçimini ele alıyordu. Bu yaklaşım işe yarayabilir ancak ürünler ve ekipler arasında tekrarlanan mühendislik çalışmaları yaratır. Her uygulamanın maliyet kurallarını, model tercihlerini, geri dönüş davranışını ve sağlayıcıya özel işlemeyi kodlaması gerekir.

Otomatik Yönlendirici bu kararın bir kısmını Cloudflare AI Gateway'e taşır. Cloudflare, yönlendiricinin görev türünü ve karmaşıklığını değerlendirmek için uçta konuşlandırılmış bir sınıflandırıcı kullandığını söylüyor. Daha sonra uygun modelleri çeşitli pratik boyutlara göre puanlar: beklenen yanıt kalitesi, belirteç maliyeti, gecikme ve modelin isteği karşılamak için uygun olup olmadığı.

Bu karışım önemlidir. "Önce en ucuz modeli kullanın" gibi basit bir yönlendirme kuralı, daha zor görevlerde çıktı kalitesini düşürebilir. Trafiği her zaman bir sınır modeline gönderen bir kural, rutin sınıflandırma, çıkarma, yeniden yazma veya biçimlendirme işlerinde bütçeyi boşa harcayabilir. Otomatik Yönlendirici, bir ekibin izin verdiği model kümesi içinde çalışmaya devam ederken, istek üzerine ödünleşim isteğini yerine getirecek şekilde tasarlanmıştır.

Geri dönüş davranışı aynı zamanda operasyonel tabloyu da değiştirir. Seçilen sağlayıcı bir isteği yerine getiremezse AI Gateway başka bir uygun modeli deneyebilir. Üretim sistemleri için bu, sağlayıcı kesintilerinin, hız sınırlarının veya geçici kapasite arızalarının etkisini azaltabilir. Bu aynı zamanda ekiplerin "uygun"un ne anlama geldiği konusunda dikkatli düşünmesi gerektiği anlamına da gelir çünkü bir yedek model davranış, maliyet, gecikme, bağlam penceresi veya güvenlik profili açısından farklılık gösterebilir.

Maliyet kontrolü için neden önemlidir

LLM harcamaları giderek daha fazla yönlendirme kararlarına göre şekillenmektedir. Kullanıcıya yönelik aynı özellik, kısa istemleri, uzun istemleri, önbelleğe alınmış bağlamı, araç çağrılarını, kod oluşturmayı ve düşük riskli arka plan işlerini içerebilir. Tüm bu trafiği tek bir modele göndermek basittir ancak nadiren ekonomiktir.

Otomatik Yönlendirici, ağ geçidi düzeyinde AI API maliyet kontrolü yönünde daha geniş bir geçişi yansıtır. İşletmeler, model seçimini tamamen geliştiricinin sahip olduğu bir seçim olarak ele almak yerine, bunu ortak bir platform kaygısı olarak yönetmeye başlayabilir. Bu, özellikle aynı sağlayıcı hesapları üzerinde AI özellikleri oluşturan birden fazla ekibin bulunduğu kuruluşlar için geçerlidir.

Pratik etki, her dağıtımda tasarruf garantisi vermez. Cloudflare, Auto Router'ın performansı korurken AI harcamalarını azaltabileceğini ancak gerçek sonuçların iş yükü karışımına, hangi modellere izin verildiğine, kalite eşiklerine, istem modellerine ve sağlayıcı değiştirme toleransına bağlı olacağını söylüyor. Çoğunlukla zor muhakeme iş yüklerini çalıştıran bir şirket, çok sayıda rutin özetleme, çıkarma, sınıflandırma ve destek otomasyonuna sahip bir şirketten daha az fayda görebilir.

Öyle olsa bile, yön açıktır.Maliyet optimizasyonu, manuel olarak bir model seçmekten ziyade kısıtlamaların tanımlanmasıyla ilgili hale geliyor: hangi modeller onaylanır, daha ucuz modeller kullanılabilir, premium modeller gerekli olduğunda ve geri dönüş ne zaman kabul edilebilir.

Kim etkilenir

Çok modelli uygulamalar geliştiren geliştiriciler en doğrudan hedef kitledir. Otomatik Yönlendirici, özellikle uygulamalar zaten Cloudflare AI Gateway'in arkasında yer aldığında, bakımı gereken yönlendirme kodu miktarını azaltabilir. Ekipler, her görevi sabit bir modele bağlamak yerine uygun bir model seti tanımlayabilir ve ağ geçidinin bu sınırlar dahilinde karar vermesine izin verebilir.

Ağ geçidinin bir yapay zeka kontrol düzlemi haline gelmesi nedeniyle platform ve altyapı ekipleri etkileniyor. Yönlendirme politikalarının küresel mi, projeye özel mi, çevreye özel mi yoksa ürün riskine bağlı mı olduğuna karar vermeleri gerekecek. Bir müşteri destek botu, dahili bir kodlama asistanı ve uyumluluk iş akışının mutlaka aynı otomatik yönlendirme davranışını paylaşması gerekmez.

Finans ve operasyon ekiplerinin de bu konuda payı vardır. Otomatik yönlendirme, bir isteği hangi modelin ele alacağını değiştirirse maliyet ilişkilendirmesinin açık kalması gerekir. Daha düşük bir karma jeton faturası yalnızca ekiplerin harcamayı hangi ürünlerin, müşterilerin, projelerin veya API anahtarların oluşturduğunu hâlâ anlayabilmesi durumunda faydalıdır. Kullanım analizleri ve etiketlemenin, yönlendirme kararı kadar önemli hale geldiği yer burasıdır.

B2B LLM müşteriler ve benzer platform kullanıcıları, daha büyük bir pazar hareketinin parçası olarak sürümü okumalıdır. Birleşik API erişiminin yönetim, analiz, bütçe kontrolleri ve yönlendirme politikasını içermesi giderek daha fazla bekleniyor. Model kataloğu yalnızca bir katmandan oluşur; bu kataloğun etrafındaki operasyonel kurallar farklılaştırıcı unsur haline geliyor.

Pratik sonuçlar

İlk sonuç, politika tasarımıdır. Otomatik yönlendirmeyi benimseyen ekipler, hangi iş yüklerinin model değişikliğini tolere edebileceğini belgelemelidir. Dahili özetleme düşük riskli olabilir. Sözleşme analizi, düzenlenmiş müşteri iletişimi, kod değişiklikleri veya aracılı araç kullanımı, daha sıkı kısıtlamalar ve açık inceleme gerektirebilir.

İkincisi test etmektir. Otomatik yönlendirme, değerlendirmeyi daha az değil, daha önemli hale getirir. Ekipler, özellikle uç durumlar, uzun istemler, yapılandırılmış çıktılar, güvenliğe duyarlı istekler ve alana özgü terminoloji için izin verdikleri uygun modellerdeki çıktıları karşılaştırmalıdır. Bir ağ geçidi modeller arasında seçim yapabiliyorsa, değerlendirme kümesi tek bir varsayılan model yerine tüm rota kümesini kapsamalıdır.

Üçüncüsü gözlemlenebilirliktir. Geliştiricilerin hangi modelin seçildiğini, geri dönüş olup olmadığını, gecikmenin ve token kullanımının ne olduğunu ve maliyetlerin nasıl tahsis edildiğini gösteren günlüklere ihtiyacı var. Bu kayıt olmadan, bir kullanıcı davranışın değiştiğini bildirdiğinde veya bir finans ekibi bir faturanın neden taşındığını sorduğunda otomatik yönlendirmede hata ayıklamak zorlaşabilir.

Dördüncüsü satın alma disiplinidir. Otomatik Yönlendirici, yeni sağlayıcılar veya modeller eklemeyi kolaylaştırabilir ancak her ekleme, politika yüzeyini genişletir. İşletmeler, bir modelin deneme, dahili iş yükleri, üretim müşteri trafiği, hassas veriler veya düzenlemeye tabi kullanım için onaylanıp onaylanmadığına karar vermelidir. Bu kategoriler resmi olmayan ekip kurallarına değil, ağ geçidi yapılandırmasına yansıtılmalıdır.

Belirsiz kalan şey

En büyük açık soru, Otomatik Yönlendiricinin gerçek kurumsal iş yüklerinde ne kadar iyi performans gösterdiğidir. Cloudflare tasarımı ve amaçlanan tasarrufları açıkladı ancak üretim sonuçları farklılık gösterecektir. Genel istemler için iyi performans gösteren bir yönlendiricinin özel kod tabanları, yasal dil, tıbbi içerik, finansal analiz veya şirkete özel bilgi çalışmaları konusunda dikkatli bir şekilde ayarlanması gerekebilir.

Ekiplerin otomatik optimizasyonu öngörülebilirlikle nasıl dengeleyeceği de belirsizdir. Bazı işletmeler maliyet ve esneklik açısından model değişimini memnuniyetle karşılayabilir. Diğerleri denetim, değerlendirme veya müşteri deneyimi nedenleriyle istikrarlı model davranışını tercih edebilir.Olası sonuç tek bir evrensel politika değil, katmanlı kontrollerdir: hassas iş akışları için katı yönlendirme, rutin işler için esnek yönlendirme ve yeni model adayları için ayrı deneyler.

Cloudflare'in piyasaya sürülmesi, ürünün net bir yönünü işaret etmesi nedeniyle hala önemlidir. Çok modelli yönlendirme artık yalnızca bir uygulama mimarisi modeli değil. Yönetilen bir ağ geçidi özelliği haline geliyor ve bu, işletmelerin modeller arasında maliyet, güvenilirlik ve yönetişimi kontrol etmesine yardımcı olduğunu iddia eden her yapay zeka platformu için beklentileri artıracak.