AI CodeOps

Ventana de contexto (context window)

Última actualización

La ventana de contexto es todo el texto que un modelo puede tener en cuenta para una respuesta, incluida la propia respuesta. Qué cuenta y cómo AI CodeOps mantiene pequeños los pasos.

Una ventana de contexto es la cantidad de texto, medida en tokens, que un modelo de lenguaje puede tener en cuenta al producir una respuesta, contando la propia respuesta. Funciona como la memoria de trabajo del modelo para una petición.

Qué es

Todo lo que hay en una petición cuenta: el prompt del sistema, cada mensaje (incluidos los resultados de herramientas), las imágenes y los documentos, las definiciones de herramientas y la salida que genera el modelo, incluido cualquier razonamiento. La guía de ventanas de contexto de Anthropic recoge los tamaños por modelo; los modelos Claude actuales van de 200 000 a 1 millón de tokens.

Si la entrada por sí sola es mayor que la ventana, la petición se rechaza. Los agentes que ejecutan bucles largos gestionan la ventana acortando los resultados de herramientas, eliminando los antiguos o resumiendo los turnos anteriores.

Por qué importa

Los agentes de programación llenan las ventanas deprisa: archivos de código fuente, diffs, salidas de pruebas y resultados de herramientas se van sumando. Una ventana llena cuesta dinero en cada llamada, y Anthropic señala que la precisión y la capacidad de recordar se degradan a medida que crece el número de tokens.

En AI CodeOps

Una sesión no arrastra un único chat largo de un paso a otro. Cada paso empieza con las instrucciones de su agente, la tarea y un contexto con límites:

repository context    a pack of about 32,000 bytes, 12,000 at most per file
earlier steps         up to 4,000 characters each, 24,000 in total
MCP tool result       shortened to 8,000 characters
tool results          the tool loop stops after 64,000 bytes in a step

Dentro de un paso, los mensajes de su bucle de herramientas se acumulan, y ahí es donde ayuda la caché de prompts.

Preguntas frecuentes

¿Una ventana de contexto más grande es siempre mejor?

No. Cada token de la ventana se factura como entrada, y los modelos pueden recordar peor los detalles a medida que crece el contexto. Lo que entra importa tanto como cuánto cabe.

¿La caché de prompts libera espacio en la ventana?

No. Los tokens en caché siguen contando para la ventana. La caché cambia lo que pagas por ellos, no si cuentan.