Cloudflare, AI Gateway'e bir Web Arama API beta ekledi ve ağ geçidini model çıkarımından, AI uygulamalarının modellerin yanında giderek daha fazla çağırdığı harici araçlara kadar genişletti. 2 Ekim'de duyurulan yeni API, geliştiricilerin arama isteklerini sağlayıcı yönlendirme, günlük kaydı ve fatura görünürlüğü için kullanılan aynı Cloudflare AI Ağ Geçidi katmanı üzerinden göndermesine olanak tanır.
Lansman sırasında Web Arama API, Ceramic.ai, Exa ve Linkup'ı destekler. Cloudflare'in sağlayıcı belgeleri, Ceramic.ai'yi varsayılan sağlayıcı olarak listeliyor ve Ceramic.ai için 1.000 istek başına 0,25 ABD Doları, Exa için 1.000 istek başına 7,00 ABD Doları ve Linkup için 1.000 istek başına 5,00 ABD Doları tutarında sağlayıcı düzeyinde fiyatlar gösteriyor. Cloudflare, isteklerin hiçbir ek işaretleme olmadan, sağlayıcının liste fiyatı üzerinden AI Gateway kredilerine faturalandırıldığını söylüyor.
Pratik değişiklik yalnızca Cloudflare müşterilerinin bir arama API'yi arayabilmesi değildir. Pek çok ekip halihazırda aracı yığınlarının bir yerinde web aramasını, erişim API'lerini, tarayıcı araçlarını veya özel tarayıcıları kullanıyor. Değişiklik, aramanın model çağrılarıyla aynı yönetim katmanına çekilmesidir. Aracılar, araştırma asistanları, uyumluluk iş akışları, satış zenginleştirme araçları veya destek sistemleri oluşturan ekipler için canlı arama, artık ayrı günlükler ve faturalarla ayrı bir entegrasyon yerine ağ geçidi trafiği haline geliyor.
Ne değişti
Cloudflare AI Gateway, basit istek proxy'sinin ötesine geçerek daha geniş bir çok modelli AI API ağ geçidi katmanına geçiyor. Son ağ geçidi özellikleri, model yönlendirmeye, sağlayıcı faturalandırma seçeneklerine ve LLM istekleri için gözlemlenebilirliğe odaklanmıştır. Web Arama API, bu kontrol yüzeyini çağrıları temellendirecek şekilde genişletir: API, istekleri AI Ağ Geçidi günlüklerine kaydederken desteklenen arama sağlayıcılarına yönlendirebilir.
Bu önemlidir, çünkü alma ve web topraklaması artık isteğe bağlı bir eklenti değil, üretim AI maliyetinin ve güvenilirliğinin bir parçasıdır. Bir müşteri destek temsilcisi, muhakeme için bir model, güncel bilgiler için bir arama sağlayıcısı ve özel bağlam için bir veritabanı veya SaaS API kullanabilir. Bu çağrılar ayrı ayrı yönetilirse mühendislik ve finans ekipleri iş akışının tam maliyetine ilişkin net bir görüşe sahip olamaz. Cloudflare, aramayı AI Gateway'in arkasına yerleştirerek, aramayı AI istek yolundaki başka bir yönetilen bağımlılık olarak ele alıyor.
Bu lansman aynı zamanda geliştiricilere sağlayıcı karşılaştırması için normalleştirilmiş bir başlangıç noktası sağlıyor. Ceramic.ai, Exa ve Linkup fiyat, endeks davranışı ve ürün konumlandırma açısından farklılık gösterir. Ağ geçidi katmanı bu farklılıkları ortadan kaldırmaz ancak test sırasında bunların gözlemlenmesini ve değiştirilmesini kolaylaştırabilir. En göze çarpan örnek fiyatlandırmadır: Cloudflare'in listelenen sağlayıcı oranlarına göre Exa, Ceramic.ai'den 1000 istek başına çok daha pahalıdır, Linkup ise bunların arasında yer alır. Yüksek hacimli aracı iş yükleri için bu dağılım önemli olabilir.
İşletmeler neden bunu önemsemeli
İşletmeler için Web Arama API, tek model API entegrasyonundan AI API kontrol düzlemine doğru daha büyük bir geçişin parçasıdır. Operasyonel soru artık sadece hangi modelin en iyi cevabı ürettiği değildir. Belirli bir ekip, müşteri, coğrafya veya veri sınıfı için hangi modele, arama sağlayıcısına, erişim yoluna ve araç sırasına izin verilmesi gerektiğidir.
Canlı web araması belirli bir yönetim sorunu yaratır. Statik model çağrısından farklı olarak, bir arama isteği, sorgu metnini üçüncü taraf bir sağlayıcıya gösterebilir ve güvenilirliği, lisansı veya politika özellikleri belirsiz olan web içeriğini döndürebilir. Arama sağlayıcısı ayrıca hangi kaynakların ortaya çıktığını kontrol ederek nihai model yanıtını da etkileyebilir. Bu, sağlayıcı seçiminin hem maliyet hem de risk kararı olduğu anlamına gelir.
Cloudflare'in günlük kaydı entegrasyonu denetlenebilirliğe yardımcı olur. AI Gateway günlüklerinde arama istekleri görünürse ekipler, hangi uygulamaların açık web'de yanıtlara dayandığını, her sağlayıcıyı ne sıklıkta aradıklarını ve maliyetlerin nerede biriktiğini inceleyebilir.Bu, özellikle aracıların kullanıcı isteği başına birden fazla araç çağrısı yaptığı durumlarda güvenlik incelemesi, olay analizi ve LLM maliyet yönetimi açısından faydalıdır.
Kazançsız faturalandırma talebi de konuyla ilgilidir. Ağ geçidi ürünleri genellikle operasyonel kolaylık ile fiyatlandırmanın şeffaf olmaması arasında bir denge oluşturur. Cloudflare, Web Arama API'yı AI Gateway kredileri aracılığıyla faturalandırılan sağlayıcı listesi fiyatı kullanımı olarak konumlandırıyor. Ekiplerin yine de kendi etkin maliyetlerini, indirimlerini ve kredi muhasebesini doğrulamaları gerekecektir, ancak kamuya açık yapı, arama harcamalarının modellenmesini, toplu veya açıklanmayan bir işaretleme sistemine göre daha kolay hale getirir.
Geliştirici etkisi
Ajans sistemleri oluşturan geliştiriciler, bunu yalnızca başka bir HTTP uç noktası olarak değil, yeni bir araç yüzeyi olarak ele almalıdır. Arama çağrıları için sağlayıcı seçimi, zaman aşımı yönetimi, sonuç filtreleme, yeniden deneme politikası ve günlüklerde ilişkilendirme yapılması gerekir. Bir ağ geçidi üzerinden yürütülen bir arama API, bu tesisatın bir kısmını basitleştirebilir, ancak aracının erişim davranışını dikkatli bir şekilde tasarlama ihtiyacını ortadan kaldırmaz.
Acil fırsat, daha temiz deneylerdir. Bir ekip, Ceramic.ai, Exa ve Linkup'ı aynı ağ geçidi yolu üzerinden test edebilir ve gerçek iş yükleri altında maliyet, gecikme, yanıt kalitesi ve kaynak kapsamını karşılaştırabilir. Bu, sağlayıcı demolarını tek başına karşılaştırmaktan daha faydalıdır. Ayrıca, aramanın ne zaman kullanılmaya değer olduğuna karar vermeyi de kolaylaştırır. Bazı iş akışları yalnızca önbelleğe alınmış belgelere veya dahili bir bilgi tabanına ihtiyaç duyabilir; diğerleri yeni web sonuçlarına ihtiyaç duyar ve ek maliyeti haklı çıkarabilir.
Bu özellik, birden fazla ürün grubu için paylaşılan AI altyapısı çalıştıran platform ekiplerini de etkileyebilir. Bir ekip hafif bir sınıflandırma iş akışı oluştururken diğeri bir tarama araştırma asistanı oluşturuyorsa, arama kullanım profilleri çok farklı olacaktır. Merkezi ağ geçidi günlükleri, platform sahiplerine harcamayı atama, kontrolden çıkan araç döngülerini tespit etme ve sağlayıcıların üretimde kullanılabileceği politika sınırlarını belirleme konusunda daha iyi bir şans verir.
Belirsiz kalan şey
Asıl belirsizlik, sağlayıcı düzeyinde veri işlemedir. Araştırma paketi, Cloudflare'in değişiklik günlüğü ile Exa Sıfır Veri Saklama durumuna ilişkin sağlayıcı belgeleri arasında belirgin bir tutarsızlığa dikkat çekiyor. Düzenlemeye tabi sektörlerdeki ekipler, istek bir ağ geçidi üzerinden yönlendiriliyor olsa bile, hassas sorguları herhangi bir arama sağlayıcısı aracılığıyla göndermeden önce, saklama koşullarını doğrudan doğrulamalıdır.
Kalite de yanıtlanması gereken başka bir sorudur. Arama sağlayıcısının performansı büyük ölçüde sorgu türüne, tazelik gereksinimlerine, etki alanı kapsamına, sıralama davranışına ve aşağı akış modelinin alınan parçacıkları nasıl kullandığına bağlıdır. Beta, geliştiricilere test için kullanışlı bir yol sunar, ancak tek bir sağlayıcının tüm aracı iş yükleri için en iyisi olduğunu ortaya koymaz.
Yine de yön açıktır: Yapay zeka ağ geçitleri, model erişiminden yapay zeka uygulamalarını faydalı kılan çevredeki hizmetlere doğru genişliyor. Arama, yönlendirme, faturalandırma ve gözlemlenebilirlik aynı yığının parçaları haline geliyor. İşletmeler için bu, ağ geçidi mimarisinin birkaç entegrasyon saatinden tasarruf etmeyi, giderek artan yapay zeka bağımlılıkları üzerinde kontrolü sürdürmeyi daha fazla önemsemesine neden olur.