AI CodeOps

Mise en cache des prompts (prompt caching)

Mis à jour le

La mise en cache des prompts permet à un fournisseur de réutiliser le début déjà traité d'un prompt et de facturer moins cher l'entrée répétée. Son fonctionnement, et son usage dans AI CodeOps.

La mise en cache des prompts est une fonctionnalité des fournisseurs de modèles qui conserve le début déjà traité d'un prompt, afin qu'une requête ultérieure commençant exactement par le même texte puisse le réutiliser. L'entrée réutilisée est facturée à un tarif inférieur à celui d'une entrée nouvelle, et elle est généralement traitée plus vite.

Définition

Le cache fonctionne par correspondance de préfixe. La plus longue portion identique au début d'une requête est lue depuis le cache ; un seul caractère modifié met fin à la correspondance, et tout ce qui suit est traité et facturé normalement. Les caches expirent au bout d'un temps court, souvent quelques minutes, et un cache construit pour un modèle ne peut pas servir à un autre.

Les fournisseurs diffèrent dans les détails. Anthropic utilise des marqueurs de cache explicites dans la requête et facture les écritures en cache (documentation sur le prompt caching) ; OpenAI met automatiquement en cache les prompts longs. Vérifiez la tarification actuelle de votre fournisseur.

Pourquoi c'est important

Un agent renvoie sa conversation à chaque tour d'une boucle d'outils, et l'entrée de chaque appel est celle de l'appel précédent plus un petit ajout. C'est exactement le schéma que récompense un cache de préfixe. Un contenu volatil placé tôt dans le prompt, comme un horodatage, casse le cache à chaque fois.

Dans AI CodeOps

Les sessions qui s'exécutent sur des modèles Claude utilisent la mise en cache des prompts. Le prompt système est mis en cache comme une entrée à part, et un marqueur placé à la fin de la conversation avance à chaque tour, si bien que la boucle d'outils d'une étape lit son historique depuis le cache. Le coût enregistré valorise les écritures et les lectures du cache à leurs propres tarifs, et non au prix plein de l'entrée.

Sur la page Usage, ouvrez le nombre de tokens d'un appel au modèle pour voir sa répartition en lectures et écritures du cache. Le guide Learn va plus loin.

Questions fréquentes

La mise en cache change-t-elle la réponse du modèle ?

Non. Le modèle reçoit la même entrée dans les deux cas. La mise en cache change ce que le fournisseur recalcule et la façon dont il facture.