Kaliteden Ödün Vermeden Maliyet Farkındalığı Yüksek Lisans Modeli Yönlendirmesi Nasıl Oluşturulur

Maliyet bilincine sahip LLM model yönlendirmesi, her isteğin mevcut en ucuz modele gönderilmesi anlamına gelmemelidir. Bu, sessiz bir başarısızlık modu yaratır: Faturalar birkaç hafta iyileşir, ardından ürün ekipleri bozuk şemaları, daha zayıf akıl yürütmeyi, tutarsız tonu veya daha fazla insani temizlik gerektiren destek taslaklarını keşfeder.

Daha iyi model, değerlendirme destekli bir yönlendirme politikasıdır. İsteği sınıflandırın, bu görev için kabul edilebilir minimum kaliteyi tanımlayın, yetenek veya yönetim kısıtlamalarını karşılayamayan rotaları kaldırın, rota ekonomisini tahmin edin ve ardından en düşük maliyetli uygun modeli seçin. Yönlendirme kararı, geliştirici tercihine veya belirsiz sağlayıcı varsayılanına değil, politika sürümüne bağlı olduğundan maliyet incelemesi sırasında açıklanabilir hale gelir.

Maliyet Farkındalığı Olan Yönlendirme Neyi Optimize Ediyor?

Pratik bir yönlendirici, görevin işletim gereksinimlerini hâlâ karşılayan en ucuz rota için optimizasyon yapar. Bu, en ucuz model için optimizasyon yapmaktan farklıdır.

Gerçekler: büyük model sağlayıcıları, jeton fiyatlandırmasını giriş jetonları, önbelleğe alınmış giriş jetonları, çıktı jetonları, istem önbelleğe alma ve toplu işleme gibi ayrı boyutlarla yayınlar. Bazı sağlayıcılar ayrıca önbelleğe alınmış belirteç davranışını bildiren kullanım alanlarını da açığa çıkarır. Bu, en düşük maliyetli seçeneğin bilgi istemi şekline, beklenen çıktı uzunluğuna, önbellek uygunluğuna ve iş yükünün eşzamansız olarak çalışıp çalışamayacağına bağlı olarak değişebileceği anlamına gelir.

Öneri: yönlendirmeyi, uygulama düzeyinde bir anahtar ifadesi olarak değil, çok modelli AI API ağ geçidi içindeki bir politika sorunu olarak ele alın. Ağ geçidi, sağlayıcı yetenek kayıtlarını, kiracı kurallarını, API anahtar meta verilerini, fiyat tablolarını, kullanım telemetrisini ve geri dönüş davranışını tek bir yerde görür.

Tahmin: Yönlendirme mantığını uygulama depolarına dağıtan ekipler, daha sonra maliyet değişikliklerini açıklamakta zorlanacaktır. Harcamayı yine de azaltabilirler ancak belirli bir isteğin neden belirli bir modeli kullandığına dair daha zayıf kanıtlara sahip olacaklar.

Sağlayıcı Adlarıyla Değil, Görev Sınıflarıyla Başlayın

Yönlendiricinin yararlı bir karar verebilmesi için bir iş yükü etiketine ihtiyacı vardır. Tek bir varsayılan model her isteğin risk profilini temsil edemez.

Yararlı görev sınıfları şunları içerir:

• Çıkartma: yapılandırılmamış metni, genellikle katı şema doğrulamayla alanlara dönüştürür.
• Sınıflandırma: etiketleri, önceliği, amacı, yaklaşımı veya yönlendirme kategorilerini atayın.
• Özetleme: Önemli gerçekleri ve kararları korurken uzun girdileri sıkıştırın.
• Müşteri desteği taslağı hazırlama: bir kişinin inceleyebileceği veya gönderebileceği bir yanıt oluşturun.
• RAG yanıt sentezi: Alıntı veya temel gereksinimleriyle birlikte alınan bağlamdan yanıt.
• Kod incelemesi: farkları veya kaynak dosyaları doğruluk, risk veya stil sorunları açısından inceleyin.
• Uzun bağlam analizi: sözleşmeler, transkriptler, günlükler, politikalar veya araştırma paketleri ile ilgili neden.
• Yüksek etkili karar desteği: Kötü bir yanıtın parayı, uyumluluğu, güvenliği veya müşteri güvenini etkileyebileceği her türlü iş akışı.

Görev sınıfı, açık istek meta verilerinden, bir API anahtar kapsamından, bir uygulama yolundan veya hafif bir sınıflandırıcıdan gelebilir. Açık meta veriler genellikle bilgi istemi metninden amaç çıkarmaktan daha iyidir çünkü belirsiz istemler yönlendiriciyi muhafazakar varsayılanlara doğru zorlar.

Her Göreve Bir Kalite Tabanı Ekleyin

Maliyet bilincine sahip yönlendirme yalnızca her görevin kaliteli bir tabanı varsa işe yarar. Bu model olmadan yönlendiricinin daha ucuz bir modeli reddetmesinin ilkesel bir yolu yoktur.

Kaliteli bir zemin birkaç kontrol içerebilir:

• Tekrar oynatılabilir değerlendirme kümesi: geliştirme ve üretimden temsili örnekler, gerektiğinde hassas verilerden arındırılmış.
• Şema geçerliliği: çıktının ayrıştırılması, standart şemaya göre doğrulanması ve desteklenmeyen alanlardan kaçınılması gerekir.
• İçerik kriterleri: yanıt, görevin stil, ret, temel ve eksiksizlik kurallarına uygun olmalıdır.
• Güvenlik kriterleri: çıktı, gizli talimatları sızdırmamalı, politika sınırlarını göz ardı etmemeli veya alınan içerikten güvenilmeyen talimatları yürütmemelidir.
• İnsan incelemesi: yüksek etkili iş akışları veya yeni bir rotanın tanıtımı için gereklidir.
• Regresyon eşiği: aday rotası, yalnızca ortalama puanda değil, kritik hata kategorilerinde de mevcut rotayı karşılamalı veya aşmalıdır.

Gerçek: sağlayıcı belgeleri, değerlendirmeleri, model çıktılarını belirtilen içerik ve stil kriterlerine göre test etmenin bir yolu olarak açıklar. Barındırılan bir değerlendirme ürününün kullanımdan kaldırılması planlandığından, yönlendirme sistemleri, sağlayıcı tarafından barındırılan tek bir değerlendirme yüzeyine bağlı olmak yerine, sağlayıcıdan bağımsız değerlendirme veri kümelerini, beklenen çıktıları, not değerlendirme listelerini ve sonuçları depolamalıdır.

Öneri: Değerlendirme sonuçlarını görev sınıfına, modele, sağlayıcı adaptör sürümüne, bilgi istemi sürümüne, şema sürümüne ve değerlendirme sürümüne göre saklayın. Bir rota, yalnızca bir modelin yeni veya daha ucuz olması nedeniyle uygun hale gelmemelidir. Görevin mevcut kalite kapısını geçtiğinde uygun hale gelir.

Sağlayıcı Yetenek Kaydı Oluşturun

Maliyeti tahmin etmeden önce, isteği karşılayamayan tüm rotaları kaldırın. Bu adım, yönlendiricinin gerekli özelliklere sahip olmayan ucuz bir modeli seçmesini engeller.

Bir yetenek kaydı şunları içermelidir:

• Desteklenen giriş ve çıkış yöntemleri.
• Bağlam penceresi sınırları.
• Yapılandırılmış çıktı ve araç çağırma desteği.
• Yayın desteği.
• İstemi önbelleğe alma desteği ve önbellek telemetrisinin kullanılabilirliği.
• Toplu API desteği.
• Bölgesel işleme seçenekleri.
• Politikanız açısından önemli olan veri saklama ve kötüye kullanımı izleme şartları.
• Oran sınırı boyutları ve mevcut kapasite.
• Bağdaştırıcı katmanınızdaki bilinen çıktı sözleşmesi farklılıkları.

Bu kayıt defteri, uygulama istemlerinden ayrı olarak tutulmalıdır. Sistemin sağlayıcıya özel varsayımları her uygulamaya sızdırmadan modelleri karşılaştırabildiği yönlendirme ve sağlayıcı bağdaştırıcı katmanının yakınında yer alır.

Seçim Öncesi Rota Maliyetini Tahmin Edin

Yönlendirici, yürütme öncesinde nihai maliyeti bilemez ancak uygun rotalar arasından seçim yapabilecek kadar iyi tahminde bulunabilir. Tahmin, aslında faturayı hareket ettiren değişkenleri içermelidir.

estimated_cost =
  input_tokens * input_token_price
  + cached_input_tokens * cached_input_token_price
  + output_tokens_expected * output_token_price
  + tool_call_overhead_expected
  + retry_allowance_expected
  - batch_discount_if_eligible

Görev sınıfına göre çıktı belirteçlerini tahmin etmek için güncel telemetriyi kullanın. Örneğin, çıkarma görevleri sınırlı çıktı uzunluğuna sahip olabilirken, uzun bağlam analizi büyük ölçüde farklılık gösterebilir. Araç kullanan aracılar, araç çağrısı planlaması, yeniden denemeler ve ara mesajlardan kaynaklanan ek gizli maliyetlere sahip olabilir.

Maliyet tahmini aynı zamanda önbellek ve toplu iş uygunluğunu da hesaba katmalıdır:

• Önbellek uygunluğu: kararlı bilgi istemi öneki, yeniden kullanılabilir sistem talimatları, tekrarlanan alınan bağlam, desteklenen sağlayıcı davranışı ve yeterli önbellek isabet olasılığı.
• Toplu uygunluk: iş yükü bekleyebilir, bağımsız istek işleme özelliğine sahiptir, dayanıklı iş takibine sahiptir ve etkileşimli akışa ihtiyaç duymaz.
• Çıktı belirteci riski: modeli, aynı görev için daha uzun veya daha kısa yanıtlar üretme eğilimindedir ve kesme, kaliteye zarar verir.
• Yeniden deneme riski: sağlayıcı veya modelde bu görev için yüksek hata oranları, şema onarım oranları veya gecikme hataları var.

Bu, maliyet yönlendirmenin daha geniş LLM maliyet yönetimi ile bağlandığı yerdir. Fiyat tablosu tek başına yeterli değildir. Beklenen tasarrufların gerçekten gerçekleşip gerçekleşmediğini bilmek için yönlendiricinin istek meta verilerine, istem yapısına, önbellek isabet ölçümlerine ve yerleşik kullanım verilerine ihtiyacı vardır.

Tek Bir Genel Varsayılan Yerine Model Katmanlarını Kullanın

Kademeli bir politikayı açıklamak, sağlayıcıya özel istisnaların yer aldığı geniş bir listeden daha kolaydır. Her katman, göreve özel geçitleri geçen bir veya daha fazla uygun model içermelidir.

Seviyenin değerlendirmelerin yerini almasına izin vermeyin. Bir model, sınıflandırma açısından ekonomik olabilir ancak taslak hazırlama için uygun olmayabilir. Başka bir model özetleme açısından güçlü olabilir ancak kısa deterministik etiketleme için fazla pahalı olabilir.

Açık Karar Sırasına Sahip Rota

Maliyet bilincine sahip bir yönlendirici, hata ayıklamayı sağlayacak kadar belirleyici olmalıdır. Tam uygulama değişiklik gösterir ancak karar sırası istikrarlı olmalıdır.

1. Kiracıyı, API anahtarını, ortamı ve uygulama meta verilerini okuyun.
2. Açık meta verilerden veya sınıflandırıcı çıktısından görev sınıfını tanımlayın.
3. Söz konusu kiracı veya çalışma alanı için yönlendirme politikası sürümünü yükleyin.
4. Veri saklama, bölge, model izin verilenler listesi ve özellik kısıtlamaları gibi yönetim kısıtlamalarını uygulayın.
5. Gerekli yeteneklere göre filtreleyin: bağlam uzunluğu, araçlar, yapılandırılmış çıktı, akış, modalite ve toplu destek.
6. Görev sınıfı için değerlendirme destekli kalite tabanına göre filtreleyin.
7. Giriş jetonlarını, beklenen çıktı jetonlarını, önbellek uygunluğunu, toplu uygunluğu ve yeniden deneme riskini kullanarak maliyeti tahmin edin.
8. Bütçe politikasını ve kiracı tercihlerini uygulayın.
9. En düşük maliyetli uygun rotayı seçin.
10. Geri dönüş rotası, zaman aşımı, yeniden deneme ve onarım politikası ekleyin.
11. Kararınızı sabit bir neden koduyla günlüğe kaydedin.

Sözde kodda yönlendirici, sabit kodlanmış bir sağlayıcı tercihinden ziyade politika değerlendirmesine benzemelidir:

function selectRoute(request):
  context = buildRoutingContext(request)
  task = classifyTask(context)
  policy = loadPolicy(context.tenant_id, task)

  candidates = modelRegistry.models
    .filter(model => policy.allows(model))
    .filter(model => model.supports(context.required_capabilities))
    .filter(model => evalStore.passes(task, model, policy.quality_floor))

  priced = candidates.map(model => ({
    model,
    estimated_cost: estimateCost(model, context),
    expected_latency: estimateLatency(model, context),
    risk_flags: estimateRisk(model, context)
  }))

  eligible = priced.filter(route => route.risk_flags.noneBlocking())
  return minBy(eligible, route => route.estimated_cost)

Her Yönlendirme Kararını Günlüğe Kaydedin

Finans neden premium modelin kullanıldığını sorarsa veya mühendislik kalitenin neden düştüğünü sorarsa yönlendiricinin günlüklerden yanıt vermesi gerekir. Olaydan sonra istemlerin amacını yeniden yapılandırmaya güvenmeyin.

Her istek için şu alanları günlüğe kaydedin:

• İstek kimliği, kiracı kimliği, API anahtar kimliği, uygulama kimliği ve ortam.
• Görev sınıflandırıcı sonucu ve güven.
• Yönlendirme politikası sürümü.
• Kullanılan veri kümesi sürümünü ve kalite kapısını değerlendirin.
• Uygun modeller ve reddedilen modeller.
• Reddedilen her modelin hariç tutulmasının nedeni.
• Tahmini giriş, önbelleğe alınmış giriş ve çıkış jetonları.
• Tahmini rota maliyeti ve mevcut olduğunda nihai kararlaştırılan maliyet.
• Seçili sağlayıcı, model, adaptör sürümü ve katman.
• Yedek rota ve yeniden deneme politikası.
• Mümkün olduğunda önbellek isabeti veya kaçırılan telemetri.
• Toplu ve eşzamanlı yürütme modu.
• Şema doğrulama, onarım girişimleri, ret durumu ve güvenlik işaretleri.

Bu günlükler aynı zamanda LLM API maliyet ilişkilendirmesini de destekler, çünkü model seçimi harcamanın yalnızca bir kısmını oluşturur. Ekiplerin hâlâ maliyeti kiracıya, çalışma alanına, anahtara, ürüne, iş akışına veya müşteriye göre dağıtması gerekiyor.

Daha Ucuz Rotaları Tanıtmadan Önce Drift Kontrolleri Ekleyin

Model davranışı, fiyatlandırma, istemler ve iş yükü karışımı değişikliği. Geçen ay güvenli olan bir rota, hızlı bir revizyon veya model güncellemesinden sonra zayıflayabilir.

Temel bir sürüklenme kontrol döngüsü şunları içermelidir:

• Görev sınıfına göre son üretim isteklerini örnekleyin.
• Hassas verileri politikaya uygun şekilde kaldırın veya dönüştürün.
• Örnekleri mevcut ve aday rotalar üzerinden tekrar oynatın.
• Kaliteyi, şema geçerliliğini, reddetme davranışını, maliyeti ve gecikmeyi karşılaştırın.
• Başarısızlıkları yalnızca toplam puana göre değil, kategoriye göre inceleyin.
• Daha ucuz rotayı yalnızca kalite tabanı ve işletme kısıtlamalarını karşılıyorsa tanıtın.
• Trafiğin küçük bir yüzdesi için yeni rota Kanarya.
• Şema hatası, maliyet aşımı, gecikme ihlali veya insan incelemesinin üst kademeye iletilmesi durumunda otomatik olarak geri alma.

Öneri: Rota tanıtımını bir değişiklik yönetimi etkinliği haline getirin. Kimin onayladığını, hangi değerlendirme setinden geçtiğini, hangi trafik yüzdesini etkilediğini, süresinin ne zaman dolduğunu veya incelenmesi gerektiğini ve geri almanın nasıl çalıştığını kaydedin.

Ekiplere Geçersiz Kılmalar Verin, Ancak Sürelerinin Sona Ermesini Sağlayın

Yönlendirmeyi geçersiz kılmanın meşru nedenleri vardır: sağlayıcı olayı, bütçe acil durumu, uyumluluk incelemesi, müşteri üst kademesine iletme veya model gerilemesi. Sorun geçersiz kılma değil. Sorun, görünmez kalıcı politika haline gelen bir geçersiz kılmadır.

Her geçersiz kılma şunları içermelidir:

• Kapsam: kiracı, uygulama, API anahtarı, görev sınıfı, model, sağlayıcı veya bölge.
• Neden: olay, bütçe, kalite, uyumluluk, gecikme veya müşteri isteği.
• Onaylayan.
• Başlangıç zamanı ve bitiş zamanı.
• Maliyet, gecikme ve kalite üzerinde beklenen etki.
• Geri alma koşulu.

Süresi dolan geçersiz kılmalar normal yönlendirme politikasına kapatılmamalı veya yenilenme gerektirmelidir. Bu, acil durum kararlarının gizli maliyet veya kalite risklerine dönüşmesini önler.

Açık Hale Getirilecek Takaslar

Maliyet bilincine sahip yönlendirmenin gerçek operasyonel maliyeti vardır. LLM harcaması önemli olduğunda yine de bunu yapmaya değer, ancak ödünler görünür olmalıdır.

• Meta veri bağımlılığı: Yönlendirme kalitesi, doğru görev etiketlerine ve iş yükü meta verilerine bağlıdır. Eksik etiketler trafiği muhafazakar varsayılanlara doğru iter.
• Değerlendirme bakımı: İstemler, ürünler ve kullanıcı davranışı değiştikçe görev değerlendirmelerinin güncellenmesi gerekir.
• Sağlayıcı karmaşıklığı: önbellek ve toplu indirimler ekonomiyi iyileştirebilir ancak yönlendirme mantığını daha karmaşık hale getirebilir.
• Taşınabilirlik riski: Sağlayıcıya özgü özellikler, ürün kodunda değil bağdaştırıcılarda ve yetenek kayıtlarında bulunmalıdır.
• Belirsizliği tahmin edin: nihai çıktı uzunluğu, araç çağrıları, yeniden denemeler ve önbellek isabetleri, yürütmeden önce tam olarak bilinmemektedir.
• Açıklanabilirlik yükü: Agresif optimizasyon, her karar politika sürümü ve neden kodlarıyla birlikte günlüğe kaydedilmediği sürece ürün davranışının açıklanmasını zorlaştırabilir.

Uygulama Kontrol Listesi

• Harcamaya ve iş etkisine göre en iyi LLM iş akışları için görev sınıflarını tanımlayın.
• Her görev sınıfı için değerlendirme kümeleri ve kalite tabanları oluşturun.
• Bir sağlayıcı ve model yeteneği kaydı oluşturun.
• Geçerli fiyat tablolarını ve fiyatlandırma değiştiricilerini sağlayıcıya, modele ve yürütme moduna göre saklayın.
• Giriş jetonlarını, beklenen çıktı jetonlarını, önbellek uygunluğunu, toplu uygunluğu ve yeniden deneme riskini tahmin edin.
• Maliyet optimizasyonundan önce adayları yönetişim kısıtlamalarına göre filtreleyin.
• En düşük maliyetli modeli yalnızca yetenek ve kalite geçitlerini geçtikten sonra seçin.
• Seçilen ve reddedilen rotaları neden kodlarıyla günlüğe kaydedin.
• Tahmini maliyeti sabit kullanım ve fatura verileriyle karşılaştırın.
• Daha ucuz rotaları tanıtmadan önce periyodik tekrar değerlendirmeleri yapın.
• Kanarya rota değişiklikleri ve geri alma tetikleyicilerini tanımlayın.
• Manuel geçersiz kılma işlemleri için son kullanma tarihlerini zorunlu kılın.

Sonuç

Pratik amaç, her isteği daha ucuz bir modele yönlendirmek değildir. Amaç, kaliteyi, sözleşmeleri, yönetim kurallarını ve açıklanabilirliği korurken rutin işler için fazla ödeme yapmayı durdurmaktır.

Yönlendiriciyi görev sınıfları, kalite tabanları, sağlayıcı yetenekleri, maliyet tahminleri ve politika günlükleri etrafında oluşturun. Ardından en düşük maliyetli uygun rotayı seçin. Uygun olan bu tek kelime, maliyete duyarlı yönlendirmeyi en ucuz model yönlendirmeden ayıran şeydir.

İlgili okumalar

• ağ geçidi düzeyinde harcama sınırları