プロンプトキャッシュはAIのコストを削減し、データをメモリに保持します

最初の3,000トークンのプロンプトに続き、5回の会話ラウンドがそれぞれ1,000トークンずつ追加されます。キャッシュなしでは、そのセッションのコストは30単位です。5分のTTLでウォームキャッシュを使うと12.2です。コールドキャッシュの場合は37.5で、キャッシュを使わなかった場合より高くなります。同じプロンプト、同じモデルで、唯一の違いはプレフィックスが一致したかどうかです。プレフィックスとは、指示や背景資料のような、リクエストの変わらない最初の部分で、AIが毎回再処理せずに再利用できるものです。

Anthropicの価格乗数（キャッシュ読み取り0.1倍、5分書き込み1.25倍）に基づき、入力トークンのみをカウントしています。

この例の展開だけでも、プロンプトキャッシュを学ぶ十分な理由になります。キャッシュはチームやパイプラインがプロンプトに入れた内容も保持しており、その部分はあまり注目されていません。

プロンプトキャッシュとは何か、そしてそれはどのように機能するのか

モデルがプロンプトを読むと、回答を書く際に参照できるように、各トークンのキー・バリュー（KV）状態を計算します。通常、これらの状態は応答終了時に破棄されます。プロンプトキャッシュはこれらを保持します。キャッシュは生のトークンではなくKVテンソルを保存し、同じ接頭辞で始まる後のリクエストは保存された状態を再利用し、新しい部分だけを処理します。

マッチングは正確かつプレフィックスベースです。プロバイダーはリクエストの先頭部分を、最近キャッシュした内容と以下の順で比較します：ツール、システムプロンプト、メッセージ。システムプロンプトの日付を変更すると、その後はすべてミスします。キャッシュ書き込みはこれまでの会話をTTL（有効期間）分保存し、ヒットするたびにその時間をリセットするため、アクティブなセッションは自動的に維持されます。

迅速なキャッシュが節約を妨げる5つの方法

上部付近の変動値。 現在の日付、ユーザー名、または誰かがログ記録のために追加したリクエストIDは、すべての呼び出しを書き込みに変えます。あるチームは単一の変動フィールドをキャッシュ部分の後、プロンプトの最後に移動し、読み取りがようやく成功し始めました。

TTLより長い一時停止。 5分間のセッションから離れて会議に出ると、次のターンは会話全体に対して全額支払います。上の表の「全てミス」の行がそれを示しています。

圧縮。 すべての圧縮はコールドスタートであり、プロバイダーが見たことのない要約履歴に対して通常料金がかかります。キャッシュがまだ温かいうちに休憩前に /compact を実行してください。有効期限が切れると、圧縮は続行するよりもコストがかかります。

セッション途中の変更。 モデル、作業レベル、プラグイン、またはMCPサーバーの変更はシステムプロンプトを変え、キャッシュを無効にする可能性があります。長時間の作業中に設定を変更する前に、プロバイダーのドキュメントを確認してください。

スケールとルーティング。 大量のリクエストでは、キャッシュされたエントリがないマシンに届きます。Bedrockの自動プレフィックスチェックはチェックポイントから約20コンテンツブロックのみを遡るため、長い静的セクションには複数必要です。

プロンプトキャッシュが機能しているか確認する方法

各機能について、キャッシュ書き込みトークンとキャッシュ読み取りトークンを比較してください。書き込みがリクエスト数を追跡している場合、再利用はされていません。アイドル期間後の最初のターンでcache_read_input_tokensがゼロ以上であることを確認してください。BedrockのConverse APIでは、cacheReadInputTokensとcacheWriteInputTokensを読み取り、inputTokensはキャッシュされていないトークンのみをカウントするため、総入力はinputTokensと両方のキャッシュフィールドの合計です。GPT-5.6以降では、cached_tokensがゼロより大きくcache_write_tokensがゼロの場合、完全一致を意味します。

長時間のセッションを維持するには、20～25分ごとに小さな有用なリクエストを送信してください。実際の作業がタイマーをリセットするため、固定のピングよりも非アクティブタイマーの方が効果的です。

プロンプトのキャッシュと機密データ

キャッシュの黄金律は、静的コンテンツを最初に、ユーザーの質問を最後に処理することです。このルールをデータの目録として読み取ってください。キャッシュ可能な部分は、ツール定義、システムプロンプト、少数ショットの例、大きな参照ドキュメント、そして過去の会話のやり取りです。RAG構成では、参照ドキュメントはすべてのリクエストに注入される同じファイルです。チャットでは、会話履歴がユーザーが入力した内容です。

従業員が内部ユーザーID、タイムスタンプ、トランザクショントラッキングコードを含むシステムイベントのエントリーを送信するとします。キャッシュされたセッションでは、そのテキストが以降のすべてのターンのプレフィックスに入り、各ターンでその時間が更新されます。

プロバイダーはこれに対応しています。キャッシュはバイト単位で同一のプロンプトでも組織間で共有されません。AnthropicとOpenAIはキャッシュをゼロデータ保持の対象と説明しています：生のプロンプトテキストは保存されず、計算されたKV状態のみがメモリに保持されるか、TTL終了まで一時的にオフロードされます。Googleの明示的なキャッシュはエンタープライズプラットフォーム上でVPCサービス制御をサポートしています。これらは実際の制御です。

また、期間を選べるウィンドウもあります。Anthropicモデルでは5分から1時間、OpenAIのGPT-5.6以降では30分から12時間、以前のOpenAIモデルでは最大24時間の保持が可能です。ハートビートのピングは送信が続く限り期間を延長します。機密情報をキャッシュする前に、各プロバイダーの最新のデータ取り扱い規約を必ずお読みください。

コスト調整は逆効果になることもあります。大きな安定したプレフィックスはキャッシュが効きやすいため、50％の繰り返し率を目指すチームはより多くのドキュメントを読み込む理由があります。節約の計算は、そのドキュメントの内容については何も示していません。

プロンプトインジェクションはリスクを高めます。間接的なインジェクションは、アシスタントが読む可能性のあるファイル（通常のPDFやカレンダー招待など）に指示を隠し、EchoLeakの脆弱性はCVSSスコア9.3を持っていました。キャッシュされた参照セット内の汚染ファイルは、誰かが削除するまで毎回のリクエストで再読込されます。

Shadow AIはIT部門が見えない部分を補います。多くのチームは、Claude.aiやPerplexity、Gemini、ブラウザ拡張機能など、従業員が使用するAIツールのごく一部しか把握していません。禁止すると従業員は個人のデバイスを使い、セキュリティツールが届かなくなります。セキュリティ担当者は代わりに、グループ別のガードレールを導入しています。エンジニアリング向けには漏洩したAPIキーやハードコードされた秘密情報のスキャン、法務・財務向けにはアップロードのブロックやトークン化された認証情報を設定しています。

トークナイゼーションは入力側の解決策の一つです。ゲートウェイは患者名を[PERSON_01]のような論理トークンに300ミリ秒以内に置き換え、モデルは本人を見ずに物語を追えます。ただし、スキャナーは認識したものしかマスクできないため、分類が最初に行われる必要があります。

監査人は同じ追跡記録を求めています。 SOX、PCI DSS 4.0、およびEUのAI法第25条はすべて、AIのやり取りに対するログ記録と追跡可能性を指示しており、各プロンプトごとにユニークなリクエストIDと、すべてのブロックに対する記録された理由を含みます。キャッシュはデータが存在するもう一つの場所であり、保存期間の問題もリストに挙げられています。

プロンプトキャッシュをオンにする前に

• 静的なコンテンツを最初に、ユーザーの質問を最後に配置してください。
• キャッシュされたプレフィックスに入るソースを決定し、顧客記録、認証情報、規制対象データを除外します。
• ヒットが出る最短のTTLを選んでください。
• 各機能のキャッシュ読み取りと書き込みを追跡します。
• 参照ドキュメントがプロンプトに追加される前に、その内容を確認してください。

プロンプトがキャッシュされる前に内容を分類します

上記のすべてのコントロールは、どのファイルが機密かを知ることに依存しています。 Netwrix Data Classification はその答えをソースで提供します。Windowsファイルサーバー、NetApp、Dell EMC、Nutanix Files、SharePoint、Microsoft 365、Exchange、SQL Server、Oracle、MySQL、Box、Dropbox、Google Drive全体で機密および規制対象データを継続的に検出・分類します。あらかじめ定義されたルールはGDPR、HIPAA、PCI DSSをカバーし、カスタム分類体系がその他を処理します。

ファイルに埋め込まれた分類タグはDLPおよびIRMツールに情報を提供し、機密としてマークされた文書が誰かがプレフィックスに読み込む前にAIワークフローから除外されるようにします。 ROT検出は冗長、不要、些細なファイルを検出し、参照セットにある古いコンテンツを削減します。自動修復は機密データを安全な場所に移動し、過剰な権限を削除し、機密内容を編集します。