Model yönlendirme (model routing)
Son güncelleme
Model yönlendirme, kaliteyi maliyete karşı tartarak her yapay zekâ isteğini ona uygun modele gönderir. Yaygın yaklaşımlar ve AI CodeOps Auto kademesinin seçimi.
Model yönlendirme, her şey için tek bir model kullanmak yerine her isteği o istek için seçilmiş bir modele gönderme uygulamasıdır. Genel amaç, güçlü bir modele yalnızca kalitenin önemli olduğu yerde para harcamak ve başka yerlerde daha ucuz bir model kullanmaktır.
Nedir
Yönlendiriciler farklı şekillerde karar verir:
- Görev tipine göre: planlama ve inceleme güçlü bir modele, rutin taslak hazırlama ucuz bir modele gider.
- Zorluğa göre: bir sınıflandırıcı veya ucuz bir ilk deneme, daha güçlü bir modele geçilip geçilmeyeceğine karar verir.
- Erişilebilirliğe göre: bir model çalışmadığında, istek limitine takıldığında veya bütçesi tükendiğinde başka bir modele geçilir.
Yönlendirme, prompt önbellekleme ile etkileşir: bir önbellek tek bir modele aittir; bu yüzden konuşmanın ortasında model değiştirmek önbelleği sıfırdan başlatır.
Neden önemlidir
Bir ajan oturumunda birkaç çağrı kendisinden sonraki her şeyi yönlendirir, diğer pek çoğu ise rutin iş yapar. Her çağrı için en iyi modelin fiyatını ödemek, bir yapay zekâ kodlama faturasının büyümesinin en yaygın yoludur.
AI CodeOps'ta
Platformun modelleri üç kademede gelir: Economy, Standard ve Premium. Bir oturum tek bir kademede veya her model çağrısı için bir kademe seçen Auto ile çalışır:
planning, review, security Premium, then Standard, then Economy
writing the change Standard, then Premium, then Economy
other drafting Economy, then Standard, then Premium
Her çağrı, kendi sırasında planınızın içerdiği ve hâlâ kotası bulunan ilk kademeyi alır. Auto, en az iki kademe seçilebilir olduğunda sunulur.
Sık sorulan sorular
Bir çağrı başarısız olduğunda oturum daha ucuz bir modele geçer mi?
Genellikle hayır. İstek limitine veya bir sunucu hatasına takılan bir çağrı önce aynı modelde toplam en fazla üç kez denenir. Platform yalnızca sağlayıcı hâlâ yanıt vermiyorsa o tek çağrıyı kademesinin yedek zincirinde aşağı, kotası kalmış başka bir kademeye taşıyabilir. Bunun dışında kademeleri yalnızca Auto seçer ve yalnızca planınızda hâlâ kotası bulunan kademeleri seçer.
Kendi model sağlayıcımı kullanabilir miyim?
Evet. Kendi sağlayıcı anahtarınızla oturumlar o sağlayıcı tarafından faturalandırılır ve platform kotasını kullanmaz.
İlgili içerikler
- Modeller ve kademeler
- Prompt önbellekleme (prompt caching)
- Yapay zekâ kodlama bütçeleri: esnek limitler, kesin limitler ve iş akışı başına limitler
- Kesin harcama limitleriyle yapay zekâ kodlama maliyet kontrolleri
- Model Bağlam Protokolü (Model Context Protocol, MCP)
- Çok ajanlı sistem (multi-agent system)
- Sözlüğün tamamı