Das Zwischenspeichern von Prompts senkt die KI-Kosten und hält Ihre Daten im Speicher

Ein anfänglicher Prompt mit 3.000 Tokens, gefolgt von fünf Gesprächsrunden, jeweils mit 1.000 Tokens. Ohne Cache kostet die Sitzung 30 Einheiten. Mit warmem Cache und 5-minütiger TTL kostet sie 12,2. Mit kaltem Cache kostet sie 37,5, mehr als ohne Cache. Gleicher Prompt, gleiches Modell, einzig variabel ist, ob das Präfix übereinstimmte. Ein Präfix ist der unveränderte Anfang einer Anfrage, wie Anweisungen und Hintergrundinfos, die die KI wiederverwenden kann, statt sie jedes Mal neu zu verarbeiten.

Basierend auf den Preis-Multiplikatoren von Anthropic (Cache-Lesen 0,1x, 5-Minuten-Schreiben 1,25x), nur Eingabetokens gezählt.

Die Beispielverteilung ist Grund genug, das Caching von Prompts zu lernen. Der Cache speichert auch alles, was dein Team und deine Pipelines in den Prompt einfügen, und dieser Teil erhält deutlich weniger Aufmerksamkeit.

Was ist Prompt-Caching und wie funktioniert es

Wenn ein Modell eine Eingabe liest, berechnet es Schlüssel-Wert-(KV)-Zustände für jedes Token, um während des Schreibens der Antwort darauf zurückgreifen zu können. Normalerweise werden diese Zustände nach der Antwort verworfen. Das Zwischenspeichern der Eingabe bewahrt sie. Der Cache speichert die KV-Tensoren, nicht die rohen Tokens, und eine spätere Anfrage mit identischem Präfix nutzt diesen gespeicherten Zustand wieder und bearbeitet nur das Neue.

Die Übereinstimmung ist exakt und präfixbasiert. Anbieter vergleichen den Anfang Ihrer Anfrage mit dem, was sie kürzlich zwischengespeichert haben, in folgender Reihenfolge: Tools, dann System-Prompt, dann Nachrichten. Ändern Sie ein Datum im System-Prompt, und alles danach passt nicht mehr. Ein Cache-Schreibvorgang speichert das Gespräch bis dahin für eine festgelegte Lebensdauer (TTL), und jeder Treffer setzt diese Uhr zurück, sodass eine aktive Sitzung automatisch warm bleibt.

Fünf Gründe, warum schnelles Caching das Sparen verhindert

Flüchtige Werte nahe oben. Ein aktuelles Datum, ein Benutzername oder eine Anforderungs-ID, die jemand zum Protokollieren hinzugefügt hat, macht jeden Aufruf zu einem Schreibvorgang. Ein Team verschob ein einzelnes flüchtiges Feld ans Ende der Eingabeaufforderung, nach dem zwischengespeicherten Teil, und die Lesezugriffe funktionierten endlich.

Pausen, die länger als die TTL sind. Verlässt man eine 5-minütige Sitzung für ein Meeting, zahlt der nächste Zug den vollen Preis für das gesamte Gespräch. Die Zeile „Alle verpasst“ in der obigen Tabelle zeigt, wie das aussieht.

Kompaktierung. Jede Kompaktierung ist ein Kaltstart, ein voller Durchlauf auf einer zusammengefassten Historie, die der Anbieter nie gesehen hat. Führen Sie /compact vor einer Pause aus, solange der Cache noch warm ist. Nach Ablauf kostet Kompaktierung mehr als einfaches Weiterarbeiten.

Änderungen während der Sitzung. Das Ändern des Modells, des Aufwandniveaus, der Plugins oder der MCP-Server kann die Systemaufforderung verändern und den Cache ungültig machen. Prüfen Sie die Dokumentation des Anbieters, bevor Sie Einstellungen mitten in einer langen Aufgabe ändern.

Skalierung und Routing. Bei hohem Volumen landen Anfragen auf Maschinen ohne deinen zwischengespeicherten Eintrag. Bedrocks automatische Präfixprüfung sieht nur etwa 20 Inhaltsblöcke vom Kontrollpunkt zurück, daher benötigt ein langer statischer Abschnitt mehr als einen.

Wie man überprüft, dass die Prompt-Caching funktioniert

Vergleichen Sie Cache-Schreib-Tokens mit Cache-Lese-Tokens für jede Funktion. Wenn Schreibvorgänge Ihre Anfragen zählen, wird nichts wiederverwendet. Stellen Sie sicher, dass cache_read_input_tokens beim ersten Durchlauf nach einer Leerlaufphase über null liegt. In Bedrocks Converse-API lesen Sie cacheReadInputTokens und cacheWriteInputTokens und beachten, dass inputTokens dann nur nicht gecachte Tokens zählt, sodass die Gesamteingabe inputTokens plus beide Cache-Felder ist. Bei GPT-5.6 und später bedeutet eine Antwort mit cached_tokens über null und cache_write_tokens bei null eine vollständige Übereinstimmung.

Um eine lange Sitzung aktiv zu halten, senden Sie alle 20 bis 25 Minuten eine kleine nützliche Anfrage. Ein inaktivitätsbasierter Timer funktioniert besser als ein fester Ping, da echte Arbeit ihn sowieso zurücksetzt.

Prompt-Caching und sensible Daten

Die goldene Regel des Cachings lautet: Zuerst statische Inhalte, zuletzt die Frage des Nutzers. Betrachte diese Regel als Dateninventar. Cachebare Teile sind Werkzeugdefinitionen, Systemaufforderungen, Few-Shot-Beispiele, umfangreiche Referenzdokumente und ältere Gesprächsverläufe. In einem RAG-Setup sind die Referenzdokumente dieselben Dateien, die bei jeder Anfrage eingebunden werden. In einem Chat ist der Gesprächsverlauf das, was die Nutzer eingegeben haben.

Angenommen, ein Mitarbeiter übermittelt einen Systemereigniseintrag mit einer internen Benutzer-ID, einem Zeitstempel und einem Transaktionsverfolgungscode. In einer zwischengespeicherten Sitzung wird dieser Text im Präfix bei jedem folgenden Durchgang mitgeführt, und jeder Durchgang aktualisiert die Zeit dafür.

Anbieter gehen darauf ein. Caches werden nicht organisationsübergreifend geteilt, auch nicht bei byte-identischen Eingaben. Anthropic und OpenAI beschreiben Caching als berechtigt für null Datenaufbewahrung: Rohtext der Eingabe wird nicht gespeichert, nur der berechnete KV-Zustand verbleibt im Speicher oder wird kurzzeitig für längere Aufbewahrung ausgelagert, bis die TTL endet. Googles explizites Caching unterstützt VPC-Servicekontrollen auf seiner Unternehmensplattform. Das sind echte Kontrollen.

Sie bieten auch ein Zeitfenster, dessen Länge Sie wählen. Bei Anthropic-Modellen 5 Minuten bis 1 Stunde, bei OpenAIs GPT-5.6 und später 30 Minuten bis 12 Stunden, bei älteren OpenAI-Modellen mit verlängerter Speicherung bis zu 24 Stunden. Heartbeat-Pings verlängern es, solange sie gesendet werden. Lesen Sie die aktuellen Datenschutzbestimmungen jedes Anbieters, bevor Sie sensible Daten zwischenspeichern.

Kostenoptimierung kann auch in die falsche Richtung wirken. Ein größerer stabiler Präfix cached besser, sodass ein Team, das die 50 % Wiederholungsrate anstrebt, mehr Dokumente laden will. Die Einsparungsrechnung sagt nichts über den Inhalt dieser Dokumente aus.

Prompt-Injektion erhöht das Risiko. Indirekte Injektion versteckt Anweisungen in Dateien, die ein Assistent wahrscheinlich liest, wie eine routinemäßige PDF oder eine Kalendereinladung, und der EchoLeak-Exploit hatte einen CVSS-Wert von 9,3. Eine vergiftete Datei in einem zwischengespeicherten Referenzsatz wird bei jeder Anfrage erneut gelesen, bis sie entfernt wird.

Shadow AI ergänzt den Teil, den die IT nicht sieht. Die meisten Teams sehen nur einen kleinen Teil der KI-Tools, die ihre Mitarbeiter nutzen, von Claude.ai und Perplexity bis zu Gemini und Browser-Erweiterungen. Ein Verbot treibt die Mitarbeiter auf private Geräte, wo Sicherheitstools nicht greifen. Sicherheitsverantwortliche setzen stattdessen auf gruppenspezifische Schutzmaßnahmen: Scanner für geleakte API-Schlüssel und fest codierte Geheimnisse im Engineering sowie blockierte Uploads oder tokenisierte Zugangsdaten für Recht und Finanzen.

Tokenisierung ist eine Lösung auf der Eingabeseite. Ein Gateway ersetzt einen Patientennamen in unter 300 Millisekunden durch ein logisches Token wie [PERSON_01], sodass das Modell der Erzählung folgt, ohne die Identität zu sehen. Ein Scanner kann jedoch nur das maskieren, was er erkennt, weshalb die Klassifikation der erste Schritt sein muss.

Prüfer verlangen dieselbe Nachvollziehbarkeit. SOX, PCI DSS 4.0 und Artikel 25 des EU-KI-Gesetzes fordern alle Protokollierung und Rückverfolgbarkeit von KI-Interaktionen, einschließlich einer eindeutigen Anforderungs-ID pro Eingabeaufforderung und einem dokumentierten Grund für jede Sperrung. Ein Cache ist ein weiterer Speicherort der Daten, und die Frage der Aufbewahrungsdauer steht ebenfalls auf der Liste.

Bevor Sie die Aufforderungscache aktivieren

• Setzen Sie statische Inhalte zuerst und die Frage des Nutzers zuletzt.
• Bestimmen Sie, welche Quellen in ein zwischengespeichertes Präfix gelangen dürfen, und halten Sie Kundenakten, Zugangsdaten und regulierte Daten fern.
• Wählen Sie die kürzeste TTL, die weiterhin Treffer liefert.
• Verfolgen Sie Cache-Lese- und Schreibvorgänge für jede Funktion.
• Prüfen Sie den Inhalt Ihrer Referenzdokumente, bevor sie in den Prompt aufgenommen werden.

Klassifizieren Sie, was in den Prompt eingeht, bevor er zwischengespeichert wird

Jede der oben genannten Kontrollen hängt davon ab, welche Dateien sensibel sind. Netwrix Data Classification liefert diese Antwort direkt an der Quelle. Es entdeckt und klassifiziert kontinuierlich sensible und regulierte Daten auf Windows-Dateiservern, NetApp, Dell EMC, Nutanix Files, SharePoint, Microsoft 365, Exchange, SQL Server, Oracle, MySQL, Box, Dropbox und Google Drive. Vorgefertigte Regeln decken GDPR, HIPAA und PCI DSS ab, benutzerdefinierte Taxonomien regeln den Rest.

In Dateien eingebettete Klassifizierungstags versorgen DLP- und IRM-Tools, sodass ein als sensibel markiertes Dokument vor dem Laden in einen Präfix aus einem KI-Workflow ausgeschlossen werden kann. ROT-Erkennung findet redundante, veraltete und triviale Dateien, wodurch veraltete Inhalte in Ihren Referenzsets reduziert werden. Automatisierte Behebung verschiebt sensible Daten an sichere Orte, entfernt übermäßige Berechtigungen und schwärzt vertrauliche Inhalte.