Caché de prompts (prompt caching)
Última actualización
La caché de prompts permite a un proveedor reutilizar el inicio ya procesado de un prompt y facturar la entrada repetida a una tarifa más baja. Cómo funciona y cómo la usa AI CodeOps.
La caché de prompts es una funcionalidad de los proveedores de modelos que guarda el inicio ya procesado de un prompt, de modo que una petición posterior que empiece exactamente con el mismo texto pueda reutilizarlo. La entrada reutilizada se factura a una tarifa más baja que la entrada nueva y normalmente se procesa más rápido.
Qué es
La caché funciona por coincidencia de prefijo. El tramo idéntico más largo al principio de una petición se lee de la caché; un solo carácter cambiado termina la coincidencia, y todo lo que viene después se procesa y se factura con normalidad. Las cachés caducan al poco tiempo, a menudo en minutos, y una caché creada para un modelo no la puede usar otro.
Los proveedores difieren en los detalles. Anthropic usa marcadores de caché explícitos en la petición y cobra por las escrituras en caché (documentación de prompt caching); OpenAI almacena en caché los prompts largos de forma automática. Consulta los precios actuales de tu proveedor.
Por qué importa
Un agente reenvía su conversación en cada vuelta de un bucle de herramientas, y la entrada de cada llamada es la entrada de la llamada anterior más un poco más. Ese es justo el patrón que premia una caché de prefijos. El contenido variable al principio del prompt, como una marca de tiempo, rompe la caché cada vez.
En AI CodeOps
Las sesiones que se ejecutan con modelos Claude usan la caché de prompts. El prompt del sistema se guarda en caché como una entrada propia, y un marcador al final de la conversación avanza en cada turno, de modo que el bucle de herramientas de un paso lee su historial de la caché. El costo registrado valora las escrituras y las lecturas de caché a sus propias tarifas, no al precio completo de la entrada.
En la página Usage, abre el recuento de tokens de una llamada al modelo para ver cómo se reparte entre lecturas de caché y escrituras de caché. La guía del Centro de aprendizaje entra en más detalle.
Preguntas frecuentes
¿La caché cambia la respuesta del modelo?
No. El modelo recibe la misma entrada en ambos casos. La caché cambia lo que el proveedor vuelve a calcular y cómo factura.