La caché de prompts, explicada: cómo reduce el costo de los agentes de IA
Última actualización
Cómo funciona la caché de prompts, por qué encaja con los agentes que reenvían un contexto creciente en cada turno, qué rompe una caché y cómo comprobar que funciona.
En esta página
La caché de prompts permite a un proveedor de modelos reutilizar el inicio ya procesado de un prompt cuando una petición posterior empieza exactamente con el mismo texto. La entrada en caché se factura a una fracción de la tarifa normal de entrada, así que encaja con las cargas de trabajo que reenvían muchas veces el mismo contexto largo. Los agentes de programación con IA son el ejemplo más claro: un agente reenvía toda su conversación en cada turno y, sin caché, la mayor parte de la factura de una sesión larga paga por volver a procesar el mismo historial. La caché solo funciona si el inicio de cada petición se mantiene idéntico byte a byte, así que premia a los agentes que añaden a su contexto en lugar de reescribirlo.
Esta página profundiza en la caché, que presenta ¿Cuánto cuesta programar con IA?.
Cómo funciona la caché de prompts
Antes de que un modelo genere nada, procesa cada token de entrada. Con un prompt largo eso es trabajo real, y los proveedores lo facturan como tokens de entrada. Si la siguiente petición empieza con el mismo texto, el proveedor puede guardar el resultado de procesar ese inicio (el prefijo) y saltárselo la próxima vez.
De cómo se hace se siguen tres propiedades:
- Es una coincidencia de prefijo. La caché se usa para el tramo más largo del inicio de la petición que es idéntico a algo que ya está en caché. Un solo carácter cambiado termina la coincidencia; todo lo que viene después se procesa y se factura con normalidad.
- Caduca. Las cachés duran poco tiempo, normalmente minutos, y se renuevan cuando se usan. Algunos proveedores ofrecen una duración mayor a un precio de escritura más alto.
- Es por modelo. Una caché creada para un modelo no la puede usar otro, así que cambiar de modelo a mitad de una sesión empieza de cero.
También hay una longitud mínima. Los prompts muy cortos no se guardan en caché.
Cómo le ponen precio los proveedores
Los precios tienen la misma forma en todos los proveedores, con detalles distintos:
- Las lecturas de caché se facturan con descuento respecto a la entrada normal.
- Las escrituras en caché pueden costar más que la entrada normal, lo mismo o nada adicional.
- El almacenamiento lo cobran algunos proveedores para las cachés de mayor duración.
Anthropic, por ejemplo, usa marcadores de caché explícitos en la petición, compara en el orden herramientas, prompt del sistema y mensajes, factura una escritura en la caché predeterminada de cinco minutos a 1.25 veces el precio base de entrada, y factura las lecturas de caché a una pequeña fracción del precio base de entrada, con una proporción exacta que depende del modelo. OpenAI aplica la caché de forma automática a los prompts que superan una longitud mínima, sin cargo aparte por escritura. La API de Gemini de Google ofrece tanto caché automática como cachés creadas de forma explícita que se facturan por tiempo de almacenamiento. Los precios y las reglas cambian, así que consulta la documentación del proveedor antes de hacer planes en torno a ellos.
Por qué los agentes de IA se benefician tanto
Una sesión de agente es un bucle: enviar la conversación, recibir una respuesta, usar una herramienta, añadir el resultado y volver a enviar toda la conversación. La entrada de cada llamada es la entrada de la llamada anterior más un poco más. Ese es exactamente el patrón que premia una caché de prefijos.
Una sesión ilustrativa, con recuentos de tokens en lugar de precios para que valga con cualquier modelo: 20 llamadas al modelo, la primera con 20 000 tokens de contexto y cada llamada posterior añadiendo 4000 tokens nuevos.
- Sin caché, la entrada total de la sesión es de 1 160 000 tokens, todos facturados a la tarifa completa de entrada.
- Con caché, cada llamada lee de la caché el contexto anterior y solo escribe los 4000 tokens nuevos. Si una lectura de caché cuesta una décima parte de la tarifa de entrada y una escritura cuesta 1.25 veces esa tarifa (tarifas ilustrativas; comprueba las de tu modelo), la factura equivale aproximadamente a 226 000 tokens de entrada a tarifa completa: más o menos una quinta parte del costo sin caché. Una tarifa de lectura más baja ahorra más.
Cuanto más larga es la sesión, mayor es la proporción de la entrada que es historial en caché, y mayor el ahorro. La caché no afecta a los tokens de salida.
Qué rompe una caché
Como la coincidencia se hace sobre un prefijo exacto, los cambios pequeños cerca del inicio de una petición invalidan todo lo que viene después. Causas habituales:
- Contenido variable al principio del prompt. Una marca de tiempo, un ID de petición o un valor aleatorio en el prompt del sistema cambian en cada llamada.
- Orden inestable. Las herramientas enumeradas en otro orden, o un JSON serializado con las claves en otro orden, producen bytes distintos.
- Editar el historial. Reescribir o resumir mensajes anteriores cambia el prefijo. Añadir mensajes nuevos no.
- Cambiar los ajustes a mitad de la sesión. Cambiar de modelo siempre empieza una caché nueva, y en algunos proveedores también lo hace cambiar ciertos ajustes de la petición.
- Pausas largas. Si entre llamadas pasa más tiempo que la duración de la caché, la siguiente llamada paga por volver a escribir la caché.
La regla general: pon primero el contenido estable y al final el que cambia, y trata la conversación como algo a lo que solo se añade.
Cómo saber si la caché funciona
Los proveedores informan de los tokens en caché en los datos de uso de cada respuesta, normalmente con recuentos separados para los tokens leídos de la caché y los escritos en ella. Merece la pena hacer tres comprobaciones:
- Las lecturas de caché deberían ser la mayor parte de la entrada en cada llamada posterior a la primera de una sesión larga. Si las lecturas se quedan en cero, algo cambia al principio del prompt.
- Las escrituras deberían ser pequeñas y constantes, más o menos del tamaño de lo que añade cada turno. Escrituras grandes en cada llamada significan que la caché se está reconstruyendo.
- El costo por sesión debería bajar después de introducir la caché o de corregir lo que la invalidaba. Si no baja, no se está acertando en la caché.
Compara el costo del mismo tipo de sesión antes y después de un cambio, no el de peticiones sueltas.
La caché junto con otros controles de costos
La caché reduce el costo de la entrada repetida. No limita cuánto dura una sesión, cuántas sesiones lanza la gente ni qué modelo elige. Funciona mejor con los demás controles: tareas más cortas y bien definidas, el modelo adecuado para cada paso y un límite estricto de gasto. Consulta Cómo fijar un presupuesto para programar con IA para lo último.
Cómo lo hace AI CodeOps
Las sesiones de AI CodeOps que se ejecutan con modelos Claude usan la caché de prompts. El prompt del sistema se guarda en caché como una entrada propia, y un marcador al final de la conversación guarda en caché todo hasta su último bloque y avanza en cada turno, de modo que el bucle de herramientas de un agente reenvía su historial como lecturas de caché. El costo registrado cuenta las escrituras y las lecturas de caché a sus propias tarifas en lugar de al precio completo de la entrada.
Puedes ver cómo funciona en la página Usage: en Usage History, abre el recuento de entrada o de salida de una llamada al modelo para ver su desglose en lecturas de caché, escrituras de caché y tokens de razonamiento, cuando el modelo los informa. La página de cada sesión muestra su costo por paso de agente.
Consulta Uso y gasto para saber dónde aparecen estas cifras, Modelos y niveles para ver qué modelos usan las sesiones, y estima el costo de una sesión con la calculadora de costos de programación con IA gratuita.
Preguntas frecuentes
¿Qué es la caché de prompts?
Una funcionalidad de los proveedores que guarda la forma ya procesada del inicio de un prompt, para que una petición posterior que empiece exactamente con el mismo texto pueda reutilizarla. La entrada reutilizada se factura a una tarifa más baja que la entrada nueva y normalmente se procesa más rápido.
¿La caché de prompts cambia las respuestas del modelo?
No. El modelo recibe la misma entrada en ambos casos. La caché cambia lo que el proveedor tiene que volver a calcular y cómo factura, no lo que ve el modelo.
¿Por qué es baja mi tasa de aciertos de caché?
Normalmente porque el inicio del prompt cambia entre peticiones, por ejemplo una marca de tiempo en el prompt del sistema, herramientas enumeradas en otro orden o mensajes anteriores editados. Las pausas largas entre llamadas también pueden hacer que la caché caduque.
¿Las escrituras en caché cuestan más que la entrada normal?
En algunos proveedores, sí. Anthropic cobra un recargo por escribir en la caché y aplica un gran descuento a la lectura, mientras que OpenAI usa la caché de forma automática sin cargo aparte por escritura. Consulta la página de precios de tu proveedor.
Relacionado
- ¿Cuánto cuesta programar con IA y cómo se controla?
- Uso y gasto
- Modelos y niveles
- Control de costos para programar con IA, con límites de gasto estrictos
- Qué hacer cuando se hace commit de un secreto en Git
- Presupuestos de IA: límites flexibles, estrictos y por flujo de trabajo
- Todo el centro de aprendizaje