Prompt önbellekleme (prompt caching)
Son güncelleme
Prompt önbellekleme, sağlayıcının bir prompt'un işlenmiş başlangıcını yeniden kullanmasını ve tekrarlanan girdiyi daha düşük ücretle faturalandırmasını sağlar. İşleyişi ve AI CodeOps'ta kullanımı.
Prompt önbellekleme, bir prompt'un işlenmiş başlangıcını saklayan bir model sağlayıcı özelliğidir; böylece tam olarak aynı metinle başlayan sonraki bir istek onu yeniden kullanabilir. Yeniden kullanılan girdi, yeni girdiden daha düşük bir ücretle faturalandırılır ve genellikle daha hızlı işlenir.
Nedir
Önbellek bir önek (prefix) eşleşmesidir. Bir isteğin başındaki en uzun özdeş bölüm önbellekten okunur; değişen tek bir karakter eşleşmeyi bitirir ve ondan sonraki her şey normal şekilde işlenir ve faturalandırılır. Önbelleklerin süresi kısa bir sürede (çoğu zaman dakikalar içinde) dolar ve bir model için oluşturulmuş bir önbellek başka bir model tarafından kullanılamaz.
Sağlayıcılar ayrıntılarda farklılık gösterir. Anthropic istekte açık önbellek işaretleri kullanır ve önbellek yazmaları için ücret alır (prompt caching dokümantasyonu); OpenAI ise uzun prompt'ları otomatik olarak önbelleğe alır. Sağlayıcınızın güncel fiyatlandırmasını kontrol edin.
Neden önemlidir
Bir ajan, bir araç döngüsünün her turunda konuşmasını yeniden gönderir ve her çağrının girdisi, önceki çağrının girdisi artı biraz daha fazlasıdır. Önek önbelleğinin ödüllendirdiği kalıp tam olarak budur. Prompt'un başlarındaki zaman damgası gibi değişken içerik, önbelleği her seferinde bozar.
AI CodeOps'ta
Claude modellerinde çalışan oturumlar prompt önbellekleme kullanır. Sistem prompt'u kendi girdisi olarak önbelleğe alınır ve konuşmanın sonundaki bir işaret her turda ileri taşınır; böylece bir adımın araç döngüsü geçmişini önbellekten okur. Kaydedilen maliyet, önbellek yazmalarını ve önbellek okumalarını tam girdi fiyatından değil, kendi ücretlerinden fiyatlandırır.
Usage sayfasında, bir model çağrısının önbellek okumaları ve önbellek yazmaları olarak dağılımını görmek için token sayısını açın. Öğrenme merkezi kılavuzu daha ayrıntılıdır.
Sık sorulan sorular
Önbellekleme modelin yanıtını değiştirir mi?
Hayır. Model her iki durumda da aynı girdiyi alır. Önbellekleme, sağlayıcının neyi yeniden hesapladığını ve nasıl faturalandırdığını değiştirir.