OpenAI, geliştiricilere tam metin oluşturmak yerine yazılı kararlar için ayrı bir uç nokta sağlayan yeni Kararlar API'ı genel beta sürümünde yayınladı. Beta, GPT-6 Luna desteğiyle 6 Ekim'de geldi ve çıktı alanının önceden bilindiği iş yükleri için konumlandırıldı: yüklemler, seçimler ve puanlar.
Kulağa dar kapsamlı gelebilir ama önemli. Üretimdeki yapay zeka trafiğinin büyük bir kısmı açık uçlu yazılardan oluşmuyor. Bunlar; sınıflandırma, yönlendirme, denetleme-bitişik politika kontrolleri, amaç tespiti, araç seçimi ve korkuluk mantığıdır. Bu çağrılar genellikle bir modelden küçük yapılandırılmış bir yanıt üretmesini ister ve ardından uygulamayı bu yanıtı ayrıştırmaya veya doğrulamaya zorlar. OpenAI artık bu modeli kendi API yüzeyi gibi ele alıyor.
Ne değişti
Kararlar API, metin ve resimleri yazılı yanıtlara dönüştürür. OpenAI, desteklenen karar iş yükleri için Yanıt API'ten 10 kata kadar daha hızlı olabileceğini söylüyor. Herkese açık beta sürümünde geliştiriciler, bir modelin rastgele metin üretmesini sağlamak ve ardından sonucu sonuçtan sonra kısıtlamak yerine, karar çıktılarını tahminler, seçimler veya puanlar olarak tanımlayabilir.
Fiyatlandırma modeli de farklıdır. OpenAI, Kararlar API için GPT-6 Luna kullanımını 1 milyon giriş jetonu başına 0,10 ABD Doları olarak, önbellek okuma, önbellek yazma veya çıkış jetonu ücreti olmadan listeler. Bu, faturanın yalnızca girdi hacmine bağlı olması nedeniyle birim ekonominin yüksek hacimli karar katmanları için modellenmesini kolaylaştırır.
Sürüm, sohbetin, Yanıtların veya aracı odaklı API'lerin yerini almaz. Uygulamanın bir paragrafa değil, güvenilir bir yazılı cevaba ihtiyaç duyduğu durumlar için daha özelleştirilmiş bir yol oluşturur. Halihazırda iş yüklerini model boyutlarına, gecikme katmanlarına ve sağlayıcı rotalarına bölen ekipler için bu, mimariye başka bir kategori ekler: karar çağrıları.
Geliştiriciler neden bunu önemsemeli
Birçok AI uygulaması zaten küçük model çağrılarını dahili kontrol mantığı olarak kullanıyor. Bir destek asistanı, bir iş akışını seçmeden önce bir çağrıyı sınıflandırabilir. Bir kodlama aracısı bir sonraki adımda hangi aracın çağrılacağına karar verebilir. Bir belge işleme sistemi, bir kaydın politika eşiğini karşılayıp karşılamadığını puanlayabilir. Müşteriye yönelik bir ürün, istekleri daha ucuz ve daha yetenekli modeller arasında yönlendirebilir.
Şimdiye kadar bu modeller genellikle katı istemler, JSON şemalar, yeniden denemeler ve doğrulama katmanları içeren normal nesil çağrılar olarak uygulanıyordu. Bu yaklaşım işe yarıyor ama yükü de beraberinde getiriyor. Geliştiriciler çıktı belirteçleri için ödeme yapar, ayrıştırma hatalarını yönetir ve genellikle kararın gerektirmesi gerekenden daha fazla gecikmeyi kabul eder.
Yazılan bir karar uç noktası bu dengeyi değiştirir. Çıktı bir boole, sınırlı bir seçim veya bir puan olarak temsil edilebiliyorsa, ekipler çağrıyı genel üretken yolun dışına taşıyabilir. Bu, gecikmeyi azaltabilir ve uygulama kodunu basitleştirebilir. Ayrıca, çağrının amacının açık olması nedeniyle günlüklerdeki ve analizlerdeki belirsizliği de azaltabilir.
En acil kullanım örnekleri muhtemelen yüksek sıklıkta dahili kontroller olacaktır: istek yönlendirme, içerik uygunluk kapıları, üst kademeye yükseltme kuralları, araç seçim adımları ve model seçim politikaları. Bu tür yerlerde, karar çağrısı her büyük model talebinden önce yapılabileceği için gecikme ve maliyetteki küçük iyileştirmeler önemli olabilir.
Maliyet ve yönetim açısından çıkarımlar
Yalnızca giriş fiyatı, dikkat edilmesi gereken ticari ayrıntıdır. Büyük hacimli aracı korumaları veya yönlendirme kararları çalıştıran ekipler için çıktı jetonu faturalandırmasının ortadan kaldırılması, küçük sohbet modelleri, kural motorları ve sağlayıcıya özel sınıflandırıcı uç noktalarıyla karşılaştırmayı değiştirir. Ayrıca maliyet tahminlerinin çıktı ayrıntılarına veya şema yeniden denemelerine karşı duyarlılığını azaltır.
Bu, her sınıflandırıcının Karar API'e geçmesi gerektiği anlamına gelmez. Mantık basit olduğunda deterministik kuralların denetlenmesi hala daha ucuz ve daha kolay olacaktır. Mevcut yerleştirme, arama veya veritabanı filtreleri bazı yönlendirme sorunları için daha uygun olabilir. Ancak dağınık metin veya görselleri sınırlı bir yanıta dönüştürmek için halihazırda bir modelin kullanıldığı durumlarda, yeni API, ekiplere daha temiz bir tedarik ve mühendislik seçeneği sunar.
Platform ekipleri için en büyük sorun sınıflandırmadır. Tüm AI çağrıları, dahili kontrol panellerinde sohbet tamamlamaları veya genel yanıtlar olarak değerlendirilirse karar iş yüklerinin yönetilmesi zor olacaktır. Farklı gecikme beklentileri, faturalandırma davranışları ve hata modları vardır. Olgun LLM maliyet yönetimi programlarına sahip kuruluşların, yönlendirme, bütçeler ve uyarıların iş yükünün gerçekte nasıl davrandığını yansıtması için karar trafiğini üretim trafiğinden ayırması gerekecektir.
Aynı şey ağ geçitleri için de geçerlidir. Yalnızca sohbet tarzı çağrıları normalleştiren çok modelli bir AI API ağ geçidi, eğer sağlayıcılar kararlar, araçlar, gruplar, canlı ses ve aracılar için özel uç noktalar oluşturmaya devam ederse yeterli olmayabilir. B2B LLM platformlar ve dahili AI kontrol düzlemleri, her şeyi bir sohbet soyutlamasına zorlamak yerine, yazılı kararlar için birinci sınıf uç nokta kategorilerine ihtiyaç duyabilir.
Kimler etkilenir
Uygulama geliştiricileri, istem ağırlıklı sınıflandırmayı veya yönlendirme kodunu sürdürürlerse en doğrudan faydayı elde ederler. Yeni API, kırılgan bilgi istemi ve ayrıştırma akışlarını, uygulamanın dahili durum makinesiyle daha iyi eşleşen yazılı çıktılarla değiştirmelerine olanak tanıyabilir.
Yapay zeka platformu ekipleri etkileniyor çünkü Karar API'in ayrı bir onaylı yetenek olarak gösterilip gösterilmeyeceğine, nasıl günlüğe kaydedildiğine ve hangi ekiplerin kullanabileceğine karar vermeleri gerekecek. Güvenlik ve uyumluluk incelemecileri, karar çıktılarının erişim kontrolü, kullanıcı uygunluğu, sağlık hizmetleri iş akışları, işe alma, finansal kararlar veya diğer hassas süreçler için kullanılıp kullanılmadığını bilmek isteyeceklerdir.
Finans ve operasyon ekiplerinin de dikkat etmesi gerekiyor. Karar çağrıları, daha geniş model kullanımıyla birleştirilirse yönetici raporlamasında görünmez olabilir. Uygulamalar, model çağrılarını yalnızca kullanıcıya yönelik oluşturmanın yanı sıra kontrol düzlemi mantığı olarak kullanmaya başladığında, LLM API maliyet ilişkilendirme'nin yalnızca model adını değil, çağrının iş işlevini de yakalaması gerekir.
Belirsiz kalan şey
Beta duyurusu API'un temel şeklini oluşturuyor ancak önemli üretim ayrıntılarının hâlâ doğrulanması gerekiyor. OpenAI, gerçek kurumsal iş yüklerinde "10 kata kadar daha hızlı" iddiası için bağımsız karşılaştırma kanıtı sunmadı. Geliştiricilerin gecikmeyi kendi giriş boyutları, görüntü yükleri, bölgeleri ve eşzamanlılık modelleriyle test etmeleri gerekecektir.
Ayrıca beta arayüzünün ne kadar kararlı olacağı, hız sınırlarının diğer OpenAI API yüzeylerle karşılaştırıldığında nasıl olacağı ve Kararlar API'ın Yanıtlar ve gelecekteki aracı API'leriyle birlikte nasıl gelişeceği de belirsiz. Fiyatlandırma, yüksek hacimli karar katmanları için caziptir ancak beta fiyatlandırması ve uç nokta davranışı, sözleşme incelemesi yapılmadan kalıcı olarak değerlendirilmemelidir.
Ancak stratejik sinyal açık: OpenAI, başka bir ortak LLM uygulama modelini genel amaçlı nesilden ayırıyor. İşletmeler için bu, yapay zeka mimarisinin tek bir model uç noktası seçmekten ziyade her iş yükünü doğru APIilkel ile eşleştirmeye odaklandığı anlamına geliyor.