El almacenamiento en caché de prompts reduce los costos de IA y mantiene sus datos en memoria

Un prompt inicial de 3,000 tokens seguido de cinco rondas de conversación, cada una agregando 1,000 tokens. Sin caché, esa sesión cuesta 30 unidades. Con una caché cálida y un TTL de 5 minutos, cuesta 12.2. Con una caché fría, cuesta 37.5, más que si nunca hubieras activado la caché. Mismo prompt, mismo modelo, y la única variable es si el prefijo coincidió. Un prefijo es el comienzo invariable de una solicitud, como las instrucciones y el material de fondo, que la IA puede reutilizar en lugar de reprocesar cada vez.

Basado en los multiplicadores de precios de Anthropic (lectura de caché 0,1x, escritura de 5 minutos 1,25x), contando solo los tokens de entrada.

La distribución del ejemplo es razón suficiente para aprender sobre el almacenamiento en caché de prompts. La caché también guarda todo lo que tu equipo y tus procesos ponen en el prompt, y esa parte recibe mucha menos atención.

Qué es el almacenamiento en caché de prompts y cómo funciona

Cuando un modelo lee un prompt, calcula estados clave-valor (KV) para cada token para poder referirse a ellos mientras escribe la respuesta. Normalmente, esos estados se descartan al finalizar la respuesta. El almacenamiento en caché del prompt los conserva. La caché guarda los tensores KV, no los tokens en bruto, y una solicitud posterior que comienza con el mismo prefijo reutiliza ese estado guardado y solo procesa lo nuevo.

La coincidencia es exacta y basada en prefijos. Los proveedores comparan el inicio de tu solicitud con lo que han almacenado en caché recientemente, en este orden: herramientas, luego el aviso del sistema y después los mensajes. Cambia una fecha en el aviso del sistema y todo lo que sigue no coincide. Una escritura en caché guarda la conversación hasta ahora por un tiempo de vida (TTL), y cada acierto reinicia ese reloj, manteniendo activa la sesión automáticamente.

Cinco formas en que el almacenamiento en caché rápido impide ahorrar dinero

Valores volátiles cerca de la parte superior. Una fecha actual, un nombre de usuario o un ID de solicitud que alguien añadió para registro convierte cada llamada en una escritura. Un equipo movió un solo campo volátil al final del aviso, después de la parte en caché, y las lecturas finalmente comenzaron a funcionar.

Pausas más largas que el TTL. Al alejarse de una sesión de 5 minutos para una reunión, el siguiente turno paga el precio completo por toda la conversación. La fila de todos los fallos en la tabla de arriba muestra cómo es eso.

Compactación. Cada compactación es un inicio en frío, un ciclo a precio completo sobre un historial resumido que el proveedor nunca ha visto. Ejecuta /compact antes de una pausa mientras la caché aún está activa. Una vez que expira, compactar cuesta más que continuar.

Cambios a mitad de sesión. Cambiar el modelo, el nivel de esfuerzo, los plugins o los servidores MCP puede modificar el aviso del sistema y invalidar la caché. Consulta la documentación del proveedor antes de cambiar ajustes durante una tarea larga.

Escalado y enrutamiento. A gran volumen, las solicitudes llegan a máquinas sin tu entrada en caché. La comprobación automática de prefijos de Bedrock solo revisa unos 20 bloques de contenido desde un punto de control, por lo que una sección estática larga necesita más de uno.

Cómo comprobar que el almacenamiento en caché de prompts funciona

Compare los tokens de escritura en caché con los tokens de lectura en caché para cada función. Si las escrituras registran el número de solicitudes, no se está reutilizando nada. Confirma que cache_read_input_tokens sea mayor que cero en el primer turno tras un periodo inactivo. En la API Converse de Bedrock, lee cacheReadInputTokens y cacheWriteInputTokens, y recuerda que inputTokens cuenta solo los tokens no almacenados en caché, por lo que la entrada total es inputTokens más ambos campos de caché. En GPT-5.6 y posteriores, una respuesta con cached_tokens mayor que cero y cache_write_tokens en cero significa una coincidencia total.

Para mantener una sesión larga activa, envía una pequeña solicitud útil cada 20 a 25 minutos. Un temporizador basado en inactividad funciona mejor que un ping fijo, porque el trabajo real lo reinicia de todos modos.

Caché de indicaciones y datos sensibles

La regla de oro del almacenamiento en caché es primero el contenido estático y al final la pregunta del usuario. Lee esa regla como un inventario de datos. Las partes almacenables en caché son definiciones de herramientas, indicaciones del sistema, ejemplos breves, documentos de referencia extensos y turnos anteriores de la conversación. En una configuración RAG, los documentos de referencia son los mismos archivos inyectados en cada solicitud. En un chat, el historial de conversación es lo que las personas escribieron.

Supongamos que un empleado envía una entrada de evento del sistema que incluye un ID de usuario interno, una marca de tiempo y un código de seguimiento de transacción. En una sesión en caché, ese texto va en el prefijo de cada turno siguiente, y cada turno actualiza su temporizador.

Los proveedores abordan esto. Las cachés no se comparten entre organizaciones, ni siquiera para indicaciones idénticas en bytes. Anthropic y OpenAI describen el almacenamiento en caché como elegible para retención cero de datos: el texto bruto de la indicación no se almacena en reposo, y solo el estado KV calculado permanece en memoria o se descarga brevemente para retención prolongada, hasta que finaliza el TTL. El almacenamiento en caché explícito de Google admite controles de servicio VPC en su plataforma empresarial. Esos son controles reales.

También dejan una ventana, y tú eliges su duración. Son de 5 minutos a 1 hora en modelos Anthropic, de 30 minutos a 12 horas en GPT-5.6 de OpenAI y posteriores, y hasta 24 horas en modelos OpenAI anteriores con retención extendida. Los pings heartbeat la prolongan mientras alguien los envíe. Lee los términos actuales de manejo de datos de cada proveedor antes de almacenar información sensible.

La optimización de costos también puede ir en la dirección equivocada. Un prefijo estable más grande almacena en caché mejor, por lo que un equipo que busca ese 50 % de repetición tiene razón para cargar más documentos en él. Los cálculos de ahorro no dicen nada sobre el contenido de esos documentos.

La inyección de prompt aumenta la gravedad. La inyección indirecta oculta instrucciones en archivos que un asistente probablemente lea, como un PDF rutinario o una invitación de calendario, y la explotación EchoLeak tenía una puntuación CVSS de 9.3. Un archivo contaminado en un conjunto de referencia en caché se vuelve a leer con cada solicitud hasta que alguien lo elimina.

Shadow AI añade la parte que TI no puede ver. La mayoría de los equipos solo ven una pequeña parte de las herramientas de IA que usan sus empleados, desde Claude.ai y Perplexity hasta Gemini y extensiones de navegador. Prohibirlas empuja a los empleados a dispositivos personales, donde las herramientas de seguridad no llegan. Los responsables de seguridad están optando por controles específicos para cada grupo: escáneres para claves API filtradas y secretos codificados para ingeniería, y bloqueos de cargas o credenciales tokenizadas para legal y finanzas.

La tokenización es una solución en el lado de entrada. Un gateway reemplaza el nombre del paciente con un token lógico como [PERSON_01] en menos de 300 milisegundos, por lo que el modelo sigue la narrativa sin ver la identidad. Sin embargo, un escáner solo puede ocultar lo que reconoce, por lo que la clasificación debe ser el primer paso.

Los auditores exigen la misma trazabilidad. SOX, PCI DSS 4.0 y el Artículo 25 de la Ley de IA de la UE exigen registro y trazabilidad en las interacciones con IA, incluyendo un ID único por solicitud y una razón registrada para cada bloqueo. La caché es otro lugar donde se almacenan datos, y la duración de su conservación también es importante.

Antes de activar el almacenamiento en caché de indicaciones

• Coloca primero el contenido estático y al final la pregunta del usuario.
• Decida qué fuentes pueden entrar en un prefijo en caché y mantenga fuera los registros de clientes, credenciales y datos regulados.
• Elige el TTL más corto que aún genere aciertos.
• Realiza un seguimiento de las lecturas y escrituras de caché para cada función.
• Revise el contenido de sus documentos de referencia antes de incluirlos en el prompt.

Clasifica lo que se incluye en el prompt antes de almacenarlo en caché

Cada control anterior depende de saber qué archivos son sensibles. Netwrix Data Classification responde a eso desde la fuente. Descubre y clasifica continuamente datos sensibles y regulados en servidores de archivos Windows, NetApp, Dell EMC, Nutanix Files, SharePoint, Microsoft 365, Exchange, SQL Server, Oracle, MySQL, Box, Dropbox y Google Drive. Las reglas predefinidas cubren GDPR, HIPAA y PCI DSS, y las taxonomías personalizadas manejan todo lo demás.

Las etiquetas de clasificación integradas en los archivos alimentan las herramientas DLP e IRM, por lo que un documento marcado como sensible puede mantenerse fuera de un flujo de trabajo de IA antes de que alguien lo cargue en un prefijo. Detección ROT encuentra archivos redundantes, obsoletos y triviales, lo que reduce el contenido obsoleto en sus conjuntos de referencia. La remediación automatizada mueve datos sensibles a ubicaciones seguras, elimina permisos excesivos y redacta contenido confidencial.