Fenêtre de contexte (context window)
Mis à jour le
La fenêtre de contexte est l'ensemble du texte qu'un modèle peut prendre en compte pour une réponse, réponse comprise. Ce qui compte, et comment AI CodeOps garde des étapes légères.
La fenêtre de contexte est la quantité de texte, mesurée en tokens, qu'un modèle de langage peut prendre en compte lorsqu'il produit une réponse, en comptant la réponse elle-même. Elle fonctionne comme la mémoire de travail du modèle pour une requête.
Définition
Tout ce que contient une requête y compte : le prompt système, chaque message, y compris les résultats d'outils, les images et les documents, les définitions d'outils, et la sortie que génère le modèle, y compris son éventuelle réflexion. Le guide sur la fenêtre de contexte d'Anthropic indique les tailles par modèle ; les modèles Claude actuels vont de 200 000 à 1 million de tokens.
Si l'entrée à elle seule dépasse la fenêtre, la requête est rejetée. Les agents qui exécutent de longues boucles gèrent la fenêtre en raccourcissant les résultats d'outils, en effaçant les anciens ou en résumant les tours précédents.
Pourquoi c'est important
Les agents de codage remplissent vite les fenêtres : fichiers source, diffs, sorties de tests et résultats d'outils s'additionnent. Une fenêtre pleine coûte de l'argent à chaque appel, et Anthropic note que la précision et le rappel se dégradent à mesure que le nombre de tokens augmente.
Dans AI CodeOps
Une session ne transporte pas une longue conversation d'une étape à l'autre. Chaque étape commence avec les instructions de son agent, la tâche et un contexte plafonné :
repository context a pack of about 32,000 bytes, 12,000 at most per file
earlier steps up to 4,000 characters each, 24,000 in total
MCP tool result shortened to 8,000 characters
tool results the tool loop stops after 64,000 bytes in a step
Au sein d'une étape, les messages de sa boucle d'outils s'accumulent : c'est là que la mise en cache des prompts est utile.
Questions fréquentes
Une fenêtre de contexte plus grande est-elle toujours préférable ?
Non. Chaque token de la fenêtre est facturé en entrée, et les modèles peuvent avoir plus de mal à retrouver des détails à mesure que le contexte grandit. Ce qu'on y met compte autant que la quantité qui y tient.
Le prompt caching libère-t-il de la place dans la fenêtre ?
Non. Les tokens en cache comptent toujours dans la fenêtre. La mise en cache change ce que vous payez pour eux, pas le fait qu'ils comptent.