AI CodeOps

Model yönlendirme (model routing)

Son güncelleme

Model yönlendirme, kaliteyi maliyete karşı tartarak her yapay zekâ isteğini ona uygun modele gönderir. Yaygın yaklaşımlar ve AI CodeOps Auto kademesinin seçimi.

Model yönlendirme, her şey için tek bir model kullanmak yerine her isteği o istek için seçilmiş bir modele gönderme uygulamasıdır. Genel amaç, güçlü bir modele yalnızca kalitenin önemli olduğu yerde para harcamak ve başka yerlerde daha ucuz bir model kullanmaktır.

Nedir

Yönlendiriciler farklı şekillerde karar verir:

  • Görev tipine göre: planlama ve inceleme güçlü bir modele, rutin taslak hazırlama ucuz bir modele gider.
  • Zorluğa göre: bir sınıflandırıcı veya ucuz bir ilk deneme, daha güçlü bir modele geçilip geçilmeyeceğine karar verir.
  • Erişilebilirliğe göre: bir model çalışmadığında, istek limitine takıldığında veya bütçesi tükendiğinde başka bir modele geçilir.

Yönlendirme, prompt önbellekleme ile etkileşir: bir önbellek tek bir modele aittir; bu yüzden konuşmanın ortasında model değiştirmek önbelleği sıfırdan başlatır.

Neden önemlidir

Bir ajan oturumunda birkaç çağrı kendisinden sonraki her şeyi yönlendirir, diğer pek çoğu ise rutin iş yapar. Her çağrı için en iyi modelin fiyatını ödemek, bir yapay zekâ kodlama faturasının büyümesinin en yaygın yoludur.

AI CodeOps'ta

Platformun modelleri üç kademede gelir: Economy, Standard ve Premium. Bir oturum tek bir kademede veya her model çağrısı için bir kademe seçen Auto ile çalışır:

planning, review, security    Premium, then Standard, then Economy
writing the change            Standard, then Premium, then Economy
other drafting                Economy, then Standard, then Premium

Her çağrı, kendi sırasında planınızın içerdiği ve hâlâ kotası bulunan ilk kademeyi alır. Auto, en az iki kademe seçilebilir olduğunda sunulur.

Sık sorulan sorular

Bir çağrı başarısız olduğunda oturum daha ucuz bir modele geçer mi?

Genellikle hayır. İstek limitine veya bir sunucu hatasına takılan bir çağrı önce aynı modelde toplam en fazla üç kez denenir. Platform yalnızca sağlayıcı hâlâ yanıt vermiyorsa o tek çağrıyı kademesinin yedek zincirinde aşağı, kotası kalmış başka bir kademeye taşıyabilir. Bunun dışında kademeleri yalnızca Auto seçer ve yalnızca planınızda hâlâ kotası bulunan kademeleri seçer.

Kendi model sağlayıcımı kullanabilir miyim?

Evet. Kendi sağlayıcı anahtarınızla oturumlar o sağlayıcı tarafından faturalandırılır ve platform kotasını kullanmaz.