프롬프트 캐싱은 AI 비용을 절감하고 데이터를 메모리에 유지합니다

처음 3,000토큰 프롬프트에 이어 5회 대화가 각각 1,000토큰씩 추가됩니다. 캐싱 없이는 세션 비용이 30단위입니다. 5분 TTL의 웜 캐시를 사용하면 비용은 12.2입니다. 콜드 캐시일 경우 비용은 37.5로, 캐싱을 사용하지 않은 것보다 더 비쌉니다. 동일한 프롬프트, 동일한 모델이며 유일한 변수는 접두사가 일치했는지 여부입니다. 접두사는 요청의 변하지 않는 시작 부분으로, 지침과 배경 자료처럼 AI가 매번 재처리하지 않고 재사용할 수 있는 부분입니다.

Anthropic의 가격 배수(캐시 읽기 0.1배, 5분 쓰기 1.25배)를 기준으로 입력 토큰만 계산합니다.

예시 분포만으로도 프롬프트 캐싱을 배워야 할 충분한 이유가 됩니다. 캐시는 팀과 파이프라인이 프롬프트에 넣은 모든 내용을 저장하며, 이 부분은 훨씬 적은 주목을 받습니다.

프롬프트 캐싱이란 무엇이며 어떻게 작동하나요

모델이 프롬프트를 읽으면 각 토큰에 대해 키-값(KV) 상태를 계산하여 답변을 작성하는 동안 참조할 수 있습니다. 일반적으로 이 상태들은 응답이 끝나면 버려집니다. 프롬프트 캐싱은 이를 유지합니다. 캐시는 원시 토큰이 아닌 KV 텐서를 저장하며, 동일한 접두어로 시작하는 이후 요청은 저장된 상태를 재사용하고 새로워진 부분만 처리합니다.

매칭은 정확하며 접두사 기반입니다. 제공자는 요청 시작 부분을 최근에 캐시한 내용과 다음 순서로 비교합니다: 도구, 시스템 프롬프트, 메시지. 시스템 프롬프트의 날짜를 변경하면 그 이후는 매칭되지 않습니다. 캐시 기록은 현재까지의 대화를 TTL(수명) 동안 저장하며, 매번 적중 시 이 시간이 초기화되어 활성 세션이 자동으로 유지됩니다.

빠른 캐싱이 비용 절감을 막는 다섯 가지 방법

상단 근처의 변동 값. 현재 날짜, 사용자 이름 또는 누군가 로깅을 위해 추가한 요청 ID는 모든 호출을 쓰기 작업으로 만듭니다. 한 팀은 단일 변동 필드를 캐시된 부분 뒤 프롬프트 끝으로 옮겼고, 읽기 작업이 드디어 정상 작동하기 시작했습니다.

TTL보다 긴 일시 중지. 5분 세션에서 회의로 자리를 비우면 다음 차례가 전체 대화에 대해 전액을 지불합니다. 위 표의 '모두 놓침' 행이 그 예입니다.

압축. 모든 압축은 콜드 스타트이며, 제공자가 본 적 없는 요약된 기록에 대해 전액 요금을 부과하는 한 사이클입니다. 캐시가 아직 따뜻할 때 휴식 전에 /compact를 실행하세요. 만료되면 압축 비용이 계속하는 것보다 더 많이 듭니다.

세션 중간 변경 사항. 모델, 작업 수준, 플러그인 또는 MCP 서버를 변경하면 시스템 프롬프트가 변경되고 캐시가 무효화될 수 있습니다. 긴 작업 중에 설정을 변경하기 전에 제공업체 문서를 확인하세요.

확장 및 라우팅. 대량 요청 시, 캐시된 항목이 없는 머신에 요청이 도착합니다. Bedrock의 자동 접두사 확인은 체크포인트에서 약 20개 콘텐츠 블록만 확인하므로 긴 정적 구간에는 여러 개가 필요합니다.

프롬프트 캐싱이 작동하는지 확인하는 방법

각 기능에 대해 캐시 쓰기 토큰과 캐시 읽기 토큰을 비교하세요. 쓰기가 요청 수를 추적한다면 재사용되는 것이 없습니다. 유휴 기간 후 첫 번째 턴에서 cache_read_input_tokens가 0보다 큰지 확인하세요. Bedrock의 Converse API에서는 cacheReadInputTokens와 cacheWriteInputTokens를 읽고, inputTokens는 캐시되지 않은 토큰만 계산하므로 총 입력은 inputTokens와 두 캐시 필드의 합임을 기억하세요. GPT-5.6 이상에서는 cached_tokens가 0보다 크고 cache_write_tokens가 0인 응답은 완전 일치를 의미합니다.

긴 세션을 유지하려면 20~25분마다 작은 유용한 요청을 보내세요. 실제 작업이 타이머를 재설정하므로 고정 핑보다 비활성 기반 타이머가 더 효과적입니다.

프롬프트 캐싱 및 민감한 데이터

캐싱의 황금률은 정적 콘텐츠를 먼저, 사용자의 질문을 마지막에 처리하는 것입니다. 이 규칙을 데이터 목록으로 읽으세요. 캐시 가능한 부분은 도구 정의, 시스템 프롬프트, 소수 예시, 대형 참조 문서, 그리고 이전 대화 내용입니다. RAG 설정에서는 참조 문서가 모든 요청에 주입되는 동일한 파일입니다. 채팅에서는 대화 기록이 사람들이 입력한 내용입니다.

직원이 내부 사용자 ID, 타임스탬프, 거래 추적 코드를 포함한 시스템 이벤트 항목을 제출한다고 가정해 봅시다. 캐시된 세션에서는 이 텍스트가 이후 모든 턴의 접두사에 포함되며, 각 턴마다 시간이 갱신됩니다.

제공업체들은 이 문제를 다룹니다. 캐시는 바이트가 동일한 프롬프트라도 조직 간에 공유되지 않습니다. Anthropic과 OpenAI는 캐싱이 데이터 보존 제로에 해당한다고 설명합니다: 원본 프롬프트 텍스트는 저장되지 않으며, 계산된 KV 상태만 메모리에 있거나 TTL이 끝날 때까지 잠시 오프로드됩니다. 구글의 명시적 캐싱은 엔터프라이즈 플랫폼에서 VPC 서비스 제어를 지원합니다. 이는 실제 제어 기능입니다.

또한 기간을 설정할 수 있는 창을 제공합니다. Anthropic 모델은 5분에서 1시간, OpenAI의 GPT-5.6 이상은 30분에서 12시간, 이전 OpenAI 모델은 최대 24시간까지 유지됩니다. 하트비트 핑은 누군가 계속 보내는 한 기간을 연장합니다. 민감한 데이터를 저장하기 전에 각 제공자의 최신 데이터 처리 약관을 읽으세요.

비용 조정도 잘못된 방향으로 작용할 수 있습니다. 더 큰 안정적인 접두어가 캐시를 더 잘하므로 50% 반복률을 목표로 하는 팀은 더 많은 문서를 로드할 이유가 있습니다. 절감 계산은 문서 내용에 대해 아무것도 말하지 않습니다.

프롬프트 인젝션은 위험을 높입니다. 간접 인젝션은 어시스턴트가 읽을 가능성이 높은 파일, 예를 들어 일반 PDF나 캘린더 초대장에 명령을 숨기며, EchoLeak 익스플로잇은 CVSS 점수 9.3을 기록했습니다. 캐시된 참조 세트 내에 독성 파일이 있으면 누군가 제거할 때까지 매 요청마다 다시 읽힙니다.

Shadow AI는 IT가 볼 수 없는 부분을 더합니다. 대부분의 팀은 Claude.ai, Perplexity, Gemini, 브라우저 확장 프로그램 등 직원들이 사용하는 AI 도구의 일부만 볼 수 있습니다. 이를 금지하면 직원들이 개인 기기로 이동해 보안 도구가 접근할 수 없습니다. 보안 책임자들은 대신 그룹별 가드레일을 도입하고 있습니다: 엔지니어링용 유출된 API 키와 하드코딩된 비밀을 스캔하고, 법무 및 재무용 업로드 차단 또는 토큰화된 자격 증명을 적용합니다.

토크나이제이션은 입력 측의 한 가지 해결책입니다. 게이트웨이는 환자 이름을 [PERSON_01]과 같은 논리적 토큰으로 300밀리초 이내에 대체하여 모델이 신원을 보지 않고도 내러티브를 따를 수 있게 합니다. 그러나 스캐너는 인식하는 것만 가릴 수 있어, 분류가 먼저 이루어져야 하는 단계입니다.

감사관들은 동일한 추적 기록을 요구합니다. SOX, PCI DSS 4.0 및 EU AI 법 제25조는 모두 AI 상호작용에 대한 로깅과 추적 가능성을 요구하며, 각 프롬프트마다 고유 요청 ID와 차단 사유 기록을 포함합니다. 캐시는 데이터가 저장된 또 다른 장소이며, 보관 기간에 대한 질문도 포함됩니다.

프롬프트 캐싱을 켜기 전에

• 정적 콘텐츠를 먼저 배치하고 사용자 질문은 마지막에 둡니다.
• 캐시된 접두사에 들어갈 소스를 결정하고 고객 기록, 자격 증명 및 규제 데이터를 제외하세요.
• 여전히 적중을 내는 가장 짧은 TTL을 선택하세요.
• 각 기능별 캐시 읽기와 쓰기를 추적하세요.
• 참조 문서가 프롬프트에 포함되기 전에 내용을 점검하세요.

프롬프트가 캐시되기 전에 입력 내용을 분류하세요

위의 모든 제어는 어떤 파일이 민감한지 아는 것에 달려 있습니다. Netwrix 데이터 분류는 이를 근원에서 해결합니다. Windows 파일 서버, NetApp, Dell EMC, Nutanix Files, SharePoint, Microsoft 365, Exchange, SQL Server, Oracle, MySQL, Box, Dropbox, Google Drive 전반에서 민감하고 규제된 데이터를 지속적으로 탐지하고 분류합니다. 미리 정의된 규칙은 GDPR, HIPAA, PCI DSS를 포함하며, 맞춤 분류 체계가 나머지를 처리합니다.

파일에 내장된 분류 태그는 DLP 및 IRM 도구에 정보를 제공하여, 민감 문서가 접두사에 로드되기 전에 AI 워크플로우에서 제외될 수 있도록 합니다. ROT 탐지는 중복, 오래된, 사소한 파일을 찾아 참조 세트에 쌓인 오래된 콘텐츠를 줄입니다. 자동 수정은 민감 데이터를 안전한 위치로 이동하고, 과도한 권한을 제거하며, 기밀 콘텐츠를 편집합니다.