- Ana sayfa
- Öğrenme merkezi
- Prompt önbellekleme açıklaması: yapay zekâ ajanlarının maliyetini nasıl düşürür
Prompt önbellekleme açıklaması: yapay zekâ ajanlarının maliyetini nasıl düşürür
Son güncelleme
Prompt önbelleklemenin nasıl çalıştığı, her turda büyüyen bağlamı yeniden gönderen kodlama ajanlarına neden uygun olduğu, bir önbelleği neyin bozduğu ve çalıştığının nasıl kontrol edileceği.
Bu sayfada
Prompt önbellekleme, sonraki bir istek tam olarak aynı metinle başladığında bir model sağlayıcısının bir prompt'un işlenmiş başlangıcını yeniden kullanmasını sağlar. Önbelleğe alınmış girdi, normal girdi ücretinin bir kesri karşılığında faturalandırılır; bu yüzden aynı uzun bağlamı pek çok kez yeniden gönderen iş yüklerine uygundur. Yapay zekâ kodlama ajanları bunun en açık örneğidir: bir ajan her turda konuşmasının tamamını yeniden gönderir ve önbellekleme olmadan uzun bir oturumun faturasının çoğu aynı geçmişi yeniden işlemek için ödenir. Önbellekleme ancak her isteğin başlangıcı bayt bayt aynı kaldığında çalışır; bu yüzden bağlamını yeniden yazmak yerine ona ekleme yapan ajanları ödüllendirir.
Bu sayfa, Yapay zekâ ile kodlama ne kadara mal olur? rehberinin tanıttığı önbelleklemeyi daha ayrıntılı ele alır.
Prompt önbellekleme nasıl çalışır
Bir model herhangi bir şey üretmeden önce her girdi token'ını işler. Uzun bir prompt için bu gerçek bir iştir ve sağlayıcılar bunu girdi token'ları olarak faturalandırır. Bir sonraki istek aynı metinle başlıyorsa sağlayıcı, bu başlangıcı (önek) işlemenin sonucunu tutabilir ve bir dahaki sefere bu adımı atlayabilir.
Bunun nasıl yapıldığından üç özellik çıkar:
- Bir önek eşleşmesidir. Önbellek, isteğin başındaki, önbelleğe alınmış bir şeyle özdeş olan en uzun bölüm için kullanılır. Değişen tek bir karakter eşleşmeyi bitirir; ondan sonraki her şey normal şekilde işlenir ve faturalandırılır.
- Süresi dolar. Önbellekler kısa bir süre, genellikle dakikalarca yaşar ve kullanıldıklarında yenilenir. Bazı sağlayıcılar daha yüksek bir yazma fiyatı karşılığında daha uzun bir ömür sunar.
- Model başınadır. Bir model için oluşturulmuş bir önbellek başka bir model tarafından kullanılamaz; bu yüzden oturumun ortasında model değiştirmek sıfırdan başlar.
Bir de asgari uzunluk vardır. Çok kısa prompt'lar hiç önbelleğe alınmaz.
Sağlayıcılar nasıl fiyatlandırır
Fiyatlandırma sağlayıcılar arasında aynı biçimdedir, ayrıntılar farklıdır:
- Önbellek okumaları normal girdiye göre indirimli faturalandırılır.
- Önbellek yazmaları normal girdiden daha pahalı, aynı fiyatta veya ek ücretsiz olabilir.
- Depolama, daha uzun ömürlü önbellekler için bazı sağlayıcılar tarafından ücretlendirilir.
Örneğin Anthropic istekte açık önbellek işaretleri kullanır, eşleştirmeyi araçlar, sistem prompt'u ve ardından mesajlar sırasıyla yapar, varsayılan beş dakikalık önbelleğe yazmayı temel girdi fiyatının 1,25 katıyla ve önbellek okumalarını temel girdi fiyatının küçük bir kesriyle faturalandırır; kesin pay modele bağlıdır. OpenAI, önbelleklemeyi belirli bir asgari uzunluğun üzerindeki prompt'lara ayrı bir yazma ücreti olmadan otomatik olarak uygular. Google'ın Gemini API'si hem otomatik önbellekleme hem de depolama süresine göre faturalandırılan, açıkça oluşturulan önbellekler sunar. Fiyatlar ve kurallar değişir; bu yüzden bunlara göre plan yapmadan önce sağlayıcının dokümantasyonunu kontrol edin.
Yapay zekâ ajanları neden bu kadar fayda sağlar
Bir ajan oturumu bir döngüdür: konuşmayı gönder, bir yanıt al, bir araç çalıştır, sonucu ekle, konuşmanın tamamını yeniden gönder. Her çağrının girdisi, önceki çağrının girdisi artı biraz daha fazlasıdır. Önek önbelleğinin ödüllendirdiği kalıp tam olarak budur.
Her model için geçerli olsun diye fiyatlar yerine token sayıları kullanan gösterim amaçlı bir oturum: 20 model çağrısı, ilki 20.000 token bağlam gönderiyor, sonraki her çağrı 4.000 yeni token ekliyor.
- Önbellekleme olmadan, oturum boyunca toplam girdi 1.160.000 token'dır ve tamamı tam girdi ücretiyle faturalandırılır.
- Önbellekleme ile, her çağrı önceki bağlamı önbellekten okur ve yalnızca yeni 4.000 token'ı yazar. Bir önbellek okuması girdi ücretinin onda biri, bir yazma ise 1,25 katı tutarsa (gösterim amaçlı ücretler; modelinizinkileri kontrol edin), fatura kabaca 226.000 token'lık tam ücretli girdiye denk gelir: önbelleksiz maliyetin yaklaşık beşte biri. Daha düşük bir okuma ücreti daha fazla tasarruf sağlar.
Oturum ne kadar uzunsa girdinin önbelleğe alınmış geçmişten oluşan payı ve tasarruf o kadar büyük olur. Çıktı token'ları önbelleklemeden etkilenmez.
Bir önbelleği ne bozar
Eşleşme tam bir önek üzerinde yapıldığı için, bir isteğin başına yakın küçük değişiklikler ondan sonraki her şeyi geçersiz kılar. Yaygın nedenler:
- Prompt'un başlarındaki değişken içerik. Sistem prompt'undaki bir zaman damgası, bir istek kimliği veya rastgele bir değer her çağrıda değişir.
- Kararsız sıralama. Farklı sırayla listelenen araçlar veya anahtarları farklı sırayla serileştirilmiş JSON farklı baytlar üretir.
- Geçmişi düzenlemek. Önceki mesajları yeniden yazmak veya özetlemek öneki değiştirir. Yeni mesajlar eklemek değiştirmez.
- Oturum ortasında ayarları değiştirmek. Model değiştirmek her zaman yeni bir önbellek başlatır; bazı sağlayıcılarda belirli istek ayarlarını değiştirmek de öyle.
- Uzun duraklamalar. Çağrılar arasında önbellek ömründen daha fazla zaman geçerse, bir sonraki çağrı önbelleği yeniden yazmanın bedelini öder.
Genel kural: sabit içeriği başa, değişen içeriği sona koyun ve konuşmayı yalnızca eklemeye açık (append-only) olarak ele alın.
Önbelleklemenin çalışıp çalışmadığı nasıl anlaşılır
Sağlayıcılar önbelleğe alınmış token'ları her yanıtın kullanım verilerinde, genellikle önbellekten okunan ve önbelleğe yazılan token'lar için ayrı sayılar olarak bildirir. Üç kontrol yapmaya değer:
- Önbellek okumaları girdinin çoğunu oluşturmalıdır; uzun bir oturumda ilkinden sonraki her çağrıda. Okumalar sıfırda kalıyorsa prompt'un başlarındaki bir şey değişiyordur.
- Yazmalar küçük ve istikrarlı olmalıdır; kabaca her turun eklediği kadar. Her çağrıdaki büyük yazmalar önbelleğin yeniden oluşturulduğu anlamına gelir.
- Oturum başına maliyet düşmelidir; önbelleklemeyi devreye aldıktan veya bir geçersizleştiriciyi düzelttikten sonra. Düşmüyorsa önbelleğe isabet edilmiyordur.
Tek tek istekleri değil, aynı türdeki bir oturumun bir değişiklik öncesi ve sonrası maliyetini karşılaştırın.
Diğer maliyet kontrolleriyle birlikte önbellekleme
Önbellekleme tekrarlanan girdinin maliyetini azaltır. Bir oturumun ne kadar süre çalıştığını, insanların kaç oturum başlattığını veya hangi modeli seçtiklerini sınırlamaz. En iyi diğer kontrollerle birlikte işe yarar: daha kısa ve iyi tanımlanmış görevler, her adım için doğru model ve harcamaya kesin bir limit. Bunlardan sonuncusu için bkz. Yapay zekâ ile kodlama bütçesi nasıl belirlenir.
AI CodeOps bunu nasıl yapar
Claude modellerinde çalışan AI CodeOps oturumları prompt önbellekleme kullanır. Sistem prompt'u kendi girdisi olarak önbelleğe alınır ve konuşmanın sonundaki bir işaret, her turda ileri taşınarak en son bloğuna kadar her şeyi önbelleğe alır; böylece bir ajanın araç döngüsü geçmişini önbellek okumaları olarak yeniden gönderir. Kaydedilen maliyet, önbellek yazmalarını ve önbellek okumalarını tam girdi fiyatından değil, kendi ücretlerinden sayar.
Çalıştığını Usage sayfasında görebilirsiniz: Usage History altında, bir model çağrısının girdi veya çıktı sayısını açarak, modelin bildirdiği yerlerde önbellek okumaları, önbellek yazmaları ve akıl yürütme token'ları olarak dağılımını görün. Her oturumun sayfası ajan adımı başına maliyetini gösterir.
Bu sayıların nerede göründüğü için Kullanım ve harcama, oturumların hangi modelleri kullandığı için Modeller ve kademeler sayfasına bakın ve bir oturumun maliyetini ücretsiz yapay zekâ kodlama maliyet hesaplayıcısıyla tahmin edin.
Sık sorulan sorular
Prompt önbellekleme nedir?
Bir prompt'un başlangıcının işlenmiş hâlini saklayan bir sağlayıcı özelliğidir; böylece tam olarak aynı metinle başlayan sonraki bir istek onu yeniden kullanabilir. Yeniden kullanılan girdi, yeni girdiden daha düşük bir ücretle faturalandırılır ve genellikle daha hızlı işlenir.
Prompt önbellekleme modelin yanıtlarını değiştirir mi?
Hayır. Model her iki durumda da aynı girdiyi alır. Önbellekleme, modelin ne gördüğünü değil, sağlayıcının neyi yeniden hesaplaması gerektiğini ve nasıl faturalandırdığını değiştirir.
Önbellek isabet oranım neden düşük?
Genellikle prompt'un başlangıcı istekler arasında değiştiği için; örneğin sistem prompt'undaki bir zaman damgası, farklı sırayla listelenen araçlar veya düzenlenmiş önceki mesajlar. Çağrılar arasındaki uzun duraklamalar da önbelleğin süresinin dolmasına yol açabilir.
Önbellek yazmaları normal girdiden daha mı pahalıdır?
Bazı sağlayıcılarda evet. Anthropic önbelleğe yazma için ek ücret, önbellekten okuma için büyük bir indirim uygular; OpenAI ise ayrı bir yazma ücreti olmadan otomatik olarak önbelleğe alır. Sağlayıcınızın fiyatlandırma sayfasını kontrol edin.
İlgili içerikler
- Yapay zekâ ile kodlama ne kadara mal olur ve nasıl kontrol edilir?
- Kullanım ve harcama
- Modeller ve kademeler
- Kesin harcama limitleriyle yapay zekâ kodlama maliyet kontrolleri
- Git'e bir secret commit edildiğinde ne yapmalı
- Yapay zekâ kodlama bütçeleri: esnek limitler, kesin limitler ve iş akışı başına limitler
- Öğrenme merkezinin tamamı