AI CodeOps

Claude oturumları için prompt önbellekleme

Claude oturumları artık prompt önbellekleme kullanıyor; böylece her turdaki konuşma geçmişi girdi fiyatının küçük bir kısmıyla önbellekten okunuyor ve kullanım bunu hesaba katıyor.

Bir oturumun ajanları bir döngü içinde çalışır: modeli çağırır, bir araç çalıştırır, sonucu geri gönderir. Her tur eskiden konuşmanın tamamını tam girdi fiyatıyla yeniden gönderiyordu.

Claude'a giden istekler artık sistem prompt'unda ve o ana kadarki konuşmada Anthropic'in önbellek işaretlerini taşıyor. Sonraki turda geçmiş, bir önbellek okuması olarak geri gelir; Anthropic bunu normal girdi fiyatının küçük bir kısmıyla faturalandırır.

Kullanımı da faturalandırıldığı şekilde sayıyoruz. Yeni girdi token'ları tam olarak sayılır; önbellek yazmaları ve önbellek okumaları kendi oranlarıyla sayılır. Bu olmasaydı tasarruf hiçbir yerde görünmezdi: ne maliyet grafiğinde, ne harcama limitlerinde, ne de aylık kademe kotanızda. Uzun bir Claude oturumu artık kotanızın eskisinden daha azını kullanıyor.

Bu, platformun modellerindeki Claude için ve kendi Anthropic anahtarını bağlayan çalışma alanları için geçerlidir. Kademeler için Modeller sayfasına bakın.