La memorizzazione della cache dei prompt riduce i costi dell'IA e mantiene i tuoi dati in memoria

Un prompt iniziale di 3.000 token seguito da cinque turni di conversazione, ciascuno con 1.000 token aggiuntivi. Senza caching, quella sessione costa 30 unità. Con una cache calda e TTL di 5 minuti, costa 12,2. Con una cache fredda, costa 37,5, più che non aver mai attivato il caching. Stesso prompt, stesso modello, e l’unica variabile è se il prefisso corrispondeva. Un prefisso è l’inizio invariato di una richiesta, come istruzioni e materiale di base, che l’IA può riutilizzare invece di rielaborare ogni volta.

Basato sui moltiplicatori di prezzo di Anthropic (lettura cache 0,1x, scrittura 5 minuti 1,25x), contando solo i token di input.

La diffusione dell'esempio è motivo sufficiente per imparare la memorizzazione nella cache dei prompt. La cache conserva anche tutto ciò che il tuo team e le pipeline inseriscono nel prompt, e quella parte riceve molta meno attenzione.

Cos'è la memorizzazione nella cache dei prompt e come funziona

Quando un modello legge un prompt, calcola stati chiave-valore (KV) per ogni token in modo da poterli richiamare mentre scrive la risposta. Normalmente questi stati vengono scartati alla fine della risposta. La memorizzazione nella cache del prompt li conserva. La cache memorizza i tensori KV, non i token grezzi, e una richiesta successiva che inizia con lo stesso prefisso riutilizza quello stato salvato e lavora solo sulle novità.

La corrispondenza è esatta e basata su prefissi. I provider confrontano l’inizio della tua richiesta con ciò che hanno memorizzato di recente nella cache, in questo ordine: strumenti, poi prompt di sistema, poi messaggi. Cambia una data nel prompt di sistema e tutto ciò che segue non corrisponde. Una scrittura nella cache salva la conversazione finora per un tempo di vita (TTL), e ogni accesso resetta questo timer, mantenendo la sessione attiva automaticamente.

Cinque modi in cui la cache immediata impedisce di risparmiare denaro

Valori volatili vicino alla parte superiore. Una data corrente, un nome utente o un ID di richiesta che qualcuno ha aggiunto per il logging trasforma ogni chiamata in una scrittura. Un team ha spostato un singolo campo volatile alla fine del prompt, dopo la parte memorizzata nella cache, e le letture hanno finalmente iniziato a funzionare.

Pause più lunghe del TTL. Allontanati da una sessione di 5 minuti per una riunione e il turno successivo paga il prezzo pieno per tutta la conversazione. La riga "tutti mancati" nella tabella sopra mostra come appare.

Compattazione. Ogni compattazione è un avvio a freddo, un ciclo a prezzo pieno su una cronologia riassunta che il provider non ha mai visto. Esegui /compact prima di una pausa mentre la cache è ancora calda. Una volta scaduta, compattare costa più che continuare.

Modifiche a metà sessione. Cambiare modello, livello di sforzo, plugin o server MCP può alterare il prompt di sistema e invalidare la cache. Controlla la documentazione del provider prima di modificare le impostazioni durante un'attività lunga.

Scalabilità e instradamento. Ad alto volume, le richieste arrivano a macchine senza la tua voce in cache. Il controllo automatico del prefisso di Bedrock guarda indietro solo circa 20 blocchi di contenuto da un checkpoint, quindi una lunga sezione statica ne richiede più di uno.

Come verificare che la memorizzazione nella cache dei prompt funzioni

Confronta i token di scrittura della cache con quelli di lettura della cache per ogni funzione. Se le scritture tracciano il numero di richieste, nulla viene riutilizzato. Verifica che cache_read_input_tokens sia superiore a zero al primo turno dopo un periodo di inattività. Nell'API Converse di Bedrock, leggi cacheReadInputTokens e cacheWriteInputTokens, e ricorda che inputTokens conta solo i token non memorizzati nella cache, quindi l'input totale è inputTokens più entrambi i campi cache. Su GPT-5.6 e versioni successive, una risposta con cached_tokens superiore a zero e cache_write_tokens a zero indica una corrispondenza completa.

Per mantenere attiva una sessione lunga, invia una piccola richiesta utile ogni 20-25 minuti. Un timer basato sull'inattività funziona meglio di un ping fisso, perché il lavoro reale lo resetta comunque.

Cache dei prompt e dati sensibili

La regola d’oro della cache è contenuto statico prima e domanda dell’utente dopo. Leggi questa regola come un inventario dei dati. Le parti memorizzabili in cache sono definizioni degli strumenti, prompt di sistema, esempi few-shot, grandi documenti di riferimento e vecchi turni di conversazione. In una configurazione RAG, i documenti di riferimento sono gli stessi file inseriti in ogni richiesta. In una chat, la cronologia è ciò che le persone hanno digitato.

Supponiamo che un dipendente invii una voce di evento di sistema con un ID utente interno, un timestamp e un codice di tracciamento della transazione. In una sessione memorizzata nella cache, quel testo viene inserito nel prefisso di ogni turno successivo, e ogni turno ne aggiorna il timer.

I provider affrontano questa questione. Le cache non sono condivise tra organizzazioni, nemmeno per prompt identici in byte. Anthropic e OpenAI descrivono la cache come soggetta a zero conservazione dei dati: il testo grezzo del prompt non viene memorizzato a riposo, e solo lo stato KV calcolato rimane in memoria o viene temporaneamente scaricato per una conservazione estesa, fino alla scadenza del TTL. Il caching esplicito di Google supporta i controlli di servizio VPC sulla sua piattaforma enterprise. Sono controlli reali.

Lascia anche una finestra, e scegli tu la durata. Da 5 minuti a 1 ora sui modelli Anthropic, da 30 minuti a 12 ore su GPT-5.6 di OpenAI e successivi, e fino a 24 ore sui modelli OpenAI precedenti con conservazione estesa. I ping heartbeat la estendono finché qualcuno li invia. Leggi i termini attuali di gestione dati di ogni provider prima di memorizzare informazioni sensibili.

La regolazione dei costi può andare nella direzione sbagliata. Un prefisso stabile più grande memorizza meglio nella cache, quindi un team che punta al 50% di ripetizione ha motivo di caricare più documenti. I calcoli del risparmio non dicono nulla sul contenuto di quei documenti.

L'iniezione di prompt alza la posta. L'iniezione indiretta nasconde istruzioni in file che un assistente è probabile che legga, come un PDF di routine o un invito al calendario, e lo sfruttamento EchoLeak aveva un punteggio CVSS di 9,3. Un file avvelenato in un set di riferimento memorizzato nella cache viene riletto a ogni richiesta finché qualcuno non lo rimuove.

Shadow AI aggiunge la parte che l'IT non vede. La maggior parte dei team vede solo una piccola parte degli strumenti di IA usati dal proprio personale, da Claude.ai e Perplexity a Gemini e alle estensioni del browser. Vietarli spinge i dipendenti a usare dispositivi personali, dove gli strumenti di sicurezza non arrivano. I responsabili della sicurezza stanno passando a regole specifiche per gruppo: scanner per chiavi API trapelate e segreti codificati per l'ingegneria, e blocchi di upload o credenziali tokenizzate per legale e finanza.

La tokenizzazione è una risposta dal lato input. Un gateway sostituisce il nome del paziente con un token logico come [PERSON_01] in meno di 300 millisecondi, così il modello segue comunque la narrazione senza vedere l’identità. Uno scanner può mascherare solo ciò che riconosce, quindi la classificazione deve essere il primo passo.

I revisori richiedono la stessa tracciabilità. SOX, PCI DSS 4.0 e l'Articolo 25 della normativa UE sull'IA indicano tutti la necessità di registrazione e tracciabilità delle interazioni con l'IA, incluso un ID richiesta unico per ogni prompt e una motivazione registrata per ogni blocco. La cache è un altro luogo dove risiedono i dati, e la durata della conservazione è un'altra questione da considerare.

Prima di attivare la memorizzazione nella cache dei prompt

• Metti prima il contenuto statico e per ultimo la domanda dell'utente.
• Decidi quali fonti possono entrare in un prefisso memorizzato e tieni fuori i dati dei clienti, le credenziali e i dati regolamentati.
• Scegli il TTL più breve che produca ancora risultati.
• Monitora le letture e le scritture della cache per ogni funzione.
• Verifica cosa contengono i tuoi documenti di riferimento prima di inserirli nel prompt.

Classifica ciò che viene inserito nel prompt prima che venga memorizzato nella cache

Ogni controllo sopra dipende dal sapere quali file sono sensibili. Netwrix Data Classification risponde a questo alla fonte. Scopre e classifica continuamente dati sensibili e regolamentati su server di file Windows, NetApp, Dell EMC, Nutanix Files, SharePoint, Microsoft 365, Exchange, SQL Server, Oracle, MySQL, Box, Dropbox e Google Drive. Le regole predefinite coprono GDPR, HIPAA e PCI DSS, mentre le tassonomie personalizzate gestiscono tutto il resto.

I tag di classificazione incorporati nei file alimentano gli strumenti DLP e IRM, così un documento contrassegnato come sensibile può essere escluso da un flusso di lavoro AI prima che qualcuno lo carichi in un prefisso. Rilevamento ROT individua file ridondanti, obsoleti e banali, eliminando i contenuti obsoleti presenti nei tuoi set di riferimento. La correzione automatica sposta i dati sensibili in posizioni sicure, rimuove permessi eccessivi e oscura contenuti riservati.