캐싱을 켰는데 왜 청구서가 더 나올까요? 프롬프트 캐싱은 입력 토큰을 크게 깎아 주는 기능으로 알려져 있지만, 구조를 모르고 켜면 오히려 평소보다 25% 더 내는 일이 생겨요. 할인만큼이나 할증도 있는 기능이거든요.
긴 시스템 프롬프트나 수십 페이지짜리 참고 문서를 매 요청마다 싣는 서비스라면, 사용자가 한 줄만 물어봐도 수만 토큰의 입력 비용이 나가요. 앤트로픽(Anthropic)과 오픈AI(OpenAI)는 이 반복되는 앞부분을 재사용하게 해 주는 프롬프트 캐싱(Prompt Caching)을 API에서 제공하고 있죠. 캐시를 걸지, 어디까지 걸지, 얼마나 오래 둘지는 API를 호출하는 쪽이 정해요. 그래서 이 글은 API로 직접 서비스를 만드는 개발자 기준으로, 언제 이득이고 손해인지와 캐시가 맞도록 프롬프트를 쌓는 법까지 따라가 봤어요.
글에 나오는 배율, 최소 길이, 모델 이름은 2026년 11월 8일에 확인한 두 회사 공식 문서 기준이에요. 요금과 모델 목록은 자주 바뀌니, 실제로 적용하기 전에 문서를 한 번 더 확인하세요.
저장되는 건 답변이 아니라 계산 중간값이에요
캐싱이라고 하면 보통 Redis처럼 “이 질문엔 이 답”을 저장해 두는 응답 캐싱을 떠올리죠. 프롬프트 캐싱은 그게 아니에요.
트랜스포머 모델은 입력 토큰마다 어텐션 계산에 쓰는 키(Key)와 값(Value) 벡터를 만들어요. 이걸 보통 KV 캐시(Key-Value Cache)라고 부르는데, 프롬프트 캐싱은 이 계산 결과를 잠시 보관해 두었다가 다음 요청의 앞부분이 같으면 다시 계산하지 않고 이어 쓰는 방식이에요. 앤트로픽 문서도 프롬프트 원문은 저장하지 않고, KV 캐시 표현과 암호화 해시만 캐시 유효 기간 동안 메모리에 둔다고 밝히고 있어요.
그래서 규칙이 엄격해요. 요청의 맨 앞부터 캐시 지점까지, 즉 접두사(Prefix) 전체가 완전히 같아야 재사용되거든요. 오픈AI 가이드도 “렌더링된 접두사 전체가 일치해야 한다”고 적고 있죠. 모델이 바뀌면 캐시도 새로 쌓아야 하고요.
다시 계산하지 않으니 아끼는 게 돈만은 아니에요. 두 문서 모두 긴 입력에서 첫 토큰이 나오기까지의 시간(TTFT)이 줄어든다고 설명하거든요. 얼마나 빨라지는지는 숫자로 밝히지 않았고, 오픈AI는 캐시가 살아 있어도 매 요청이 실제로 재사용되거나 빨라진다고 보장하지는 않는다고 선을 긋고요.
쓰기는 비싸고 읽기는 싸다
비용 구조부터 볼게요. 앤트로픽 문서의 배율은 아래와 같아요.
| 구분 | 일반 입력 대비 배율 |
|---|---|
| 캐시 쓰기, 5분 유효 | 1.25배 |
| 캐시 쓰기, 1시간 유효 | 2배 |
| 캐시 읽기(대부분의 모델) | 0.1배 |
| 캐시 읽기, Claude Opus 5.5·Sonnet 5.5 | 0.05배 |
| 캐시 읽기, Claude Fable 5.1·Mythos 5.1 | 0.025배 |
오픈AI는 모델 세대에 따라 구조가 갈려요. GPT-5.6 이후 모델은 기본 30분 수명의 캐시 쓰기가 1.25배, 12시간 수명은 2.5배이고, 읽기는 대부분 0.1배예요(GPT-6.1 Sol은 0.05배). 그 이전 모델은 쓰기 할증이 따로 없어요. 가이드가 밝힌 최대 할인 폭은 95%고요.
핵심은 표의 첫 줄이에요. 쓰기에 25% 할증이 붙거든요. 10,000토큰 프롬프트에 캐시를 걸었는데 5분 안에 같은 앞부분으로 다시 요청이 오지 않으면, 10,000이 아니라 12,500만큼을 낸 셈이 돼요. 한 번 쓰고 끝나는 요청이라면 캐시를 켠 것만으로 손해고요.
반대로 딱 한 번만 다시 읽어도 바로 이득으로 돌아서요. 캐시 없이 두 번 보내면 2.0배인데, 쓰기 1회와 읽기 1회는 1.25 + 0.10 = 1.35배라 32.5%가 줄어요. 10번 보내면 차이가 훨씬 커지죠. 쓰기 1회에 읽기 9회는 1.25 + 0.9 = 2.15배로, 캐시 없이 드는 10배보다 78.5% 적어요. 이 두 계산은 오픈AI 가이드에도 같은 숫자로 나와 있어요.
읽기 배율이 더 낮은 최신 모델에서는 계산이 더 유리해져요. 직접 계산해 보면, 0.05배 모델에서 쓰기 1회와 읽기 9회는 1.25 + 0.45 = 1.70배로 83% 절감, 0.025배 모델이면 1.475배로 약 85% 절감이에요. 반면 쓰기 할증 1.25배는 그대로라서, “한 번도 다시 읽지 않으면 25% 손해”라는 조건은 어느 모델에서나 똑같아요.
5분이라는 시간과 갱신 규칙
앤트로픽 캐시의 기본 유효 기간은 5분이에요. 짧아 보이지만 숨은 규칙이 하나 있어요. 캐시를 읽을 때마다 유효 기간이 추가 비용 없이 다시 갱신되거든요.
3분 간격으로 질문이 들어오는 상담 봇이라면 처음에 1.25배를 한 번 내고, 그 뒤로는 읽기 요금만으로 캐시가 계속 살아 있어요.
문제는 요청 간격이 5분을 넘는 시스템이에요. 매번 캐시가 이미 만료된 뒤에 요청이 도착하니, 1.25배짜리 쓰기만 반복되고 읽기 할인은 한 번도 못 받게 되거든요. 이럴 때 고를 수 있는 게 더 긴 유효 기간이에요. 앤트로픽은 1시간(쓰기 2배), 오픈AI GPT-5.6 이후 모델은 12시간(쓰기 2.5배) 옵션이 있어요.
긴 옵션은 쓰기 할증이 큰 만큼 손익분기도 뒤로 밀려요. 0.1배 읽기 기준으로 직접 계산해 보면 이래요.
| 유효 기간(쓰기 배율) | 다시 1번 읽을 때 | 다시 2번 읽을 때 |
|---|---|---|
| 5분 또는 30분(1.25배) | 1.35배 vs 캐시 없이 2배, 이득 | 1.45배 vs 3배, 이득 |
| 1시간(2배) | 2.1배 vs 2배, 손해 | 2.2배 vs 3배, 이득 |
| 12시간(2.5배) | 2.6배 vs 2배, 손해 | 2.7배 vs 3배, 이득 |
그러니까 긴 옵션은 “그 기간 안에 최소 두 번은 다시 읽는다”는 확신이 있을 때만 이득이에요. 앤트로픽 문서도 1시간 캐시는 5분보다 드물고 1시간보다 잦은 프롬프트, 예를 들어 답장이 몇 분씩 늦는 사용자와의 긴 대화에 쓰라고 권해요. 계약서나 매뉴얼을 통째로 넣고 질문받는 서비스도 비슷해요. 사용자가 몇 분씩 읽다가 다시 묻는다면, 한 시간 안에 질문이 두 번 이상 오는지 보고 1시간 옵션을 고르면 돼요. 1시간에 한 번도 안 오는 요청이라면 캐시를 끄는 쪽이 맞고요.
캐시가 맞도록 프롬프트를 쌓는 법
출발점은 하나예요. 프롬프트를 바뀌는 빈도 순서로 쌓는 거죠. 앤트로픽 기준으로 그리면 이런 모양이에요.
[도구 정의] 거의 안 바뀜
[시스템 지침, 참고 문서] 여기 끝에 캐시 지점 1
[이전 대화] 여기 끝에 캐시 지점 2 (또는 자동 캐싱)
[현재 시각, 새 질문] 캐시하지 않음
실제 요청에서는 앤트로픽 문서의 예시처럼 시스템 블록에 cache_control을 달고, 최상위에도 cache_control을 하나 더 넣으면 돼요. 시스템 프롬프트는 명시적 지점으로 고정하고, 늘어나는 대화는 자동 캐싱이 따라가게 하는 조합이에요. 캐시 지점은 요청당 최대 4개까지 쓸 수 있어요.
{
"model": "claude-opus-5-5",
"max_tokens": 1024,
"cache_control": { "type": "ephemeral" },
"system": [
{
"type": "text",
"text": "긴 업무 지침과 참고 문서...",
"cache_control": { "type": "ephemeral" }
}
],
"messages": [{ "role": "user", "content": "환불 규정 알려 주세요" }]
}
바뀌는 값은 캐시 지점 뒤로
현재 시각이나 요청 ID처럼 매번 바뀌는 값이 캐시 지점 앞에 있으면, 그 뒤의 수만 토큰이 전부 같아도 접두사 해시가 매번 달라져요. 앤트로픽 문서가 예로 드는 건 캐시 지점 자체를 시각이 든 블록에 찍는 경우인데, 결과는 같아요. 매번 쓰기 요금만 내고 읽기는 한 번도 일어나지 않죠. 문서의 권장은 요청마다 똑같이 유지되는 마지막 블록, 즉 정적인 부분의 끝에 캐시 지점을 찍으라는 거예요.
도구 목록과 키 순서는 고정
앤트로픽의 캐시는 tools, system, messages 순서로 계층을 이뤄요. 앞 단계가 바뀌면 그 뒤 단계 캐시도 함께 무효가 되니까, 도구 목록이 조금만 달라져도 시스템 프롬프트 캐시까지 같이 날아가요. 문서는 Swift나 Go처럼 JSON으로 바꿀 때 키 순서를 무작위로 섞는 언어가 있으니 tool_use 블록의 키 순서가 일정한지 확인하라고도 적고 있어요.
특정 요청에서 도구를 못 쓰게 하고 싶을 때도 목록을 빼면 안 돼요. 오픈AI 가이드는 정의는 그대로 두고 tool_choice를 "none"으로 두거나 allowed_tools로 호출 가능한 도구만 좁히라고 권해요. 다만 앤트로픽은 tool_choice를 바꾸면 도구·시스템 캐시는 남지만 대화 부분 캐시는 무효가 된다고 적고 있어서, 이 방법을 그대로 옮겨 쓰면 안 돼요.
최소 길이부터 확인
너무 짧은 프롬프트는 캐시가 되지 않아요. 앤트로픽 기준 최소 길이는 모델마다 달라요.
- 512토큰: Claude Fable 5.1, Opus 5.5, Opus 5, Sonnet 5.5, Haiku 5.5 등
- 1,024토큰: Claude Opus 4.8, Sonnet 5, Sonnet 4.6 등
- 2,048토큰은 Opus 4.7, 4,096토큰은 Opus 4.6·Opus 4.5·Haiku 4.5
오픈AI는 GPT-5.6 이후 모델에서 1,024토큰이 기준이에요. 기준에 못 미치면 오류 없이 그냥 캐시 없이 처리돼요. 그러니 실제로 캐시가 됐는지는 응답의 usage 필드에서 cache_creation_input_tokens와 cache_read_input_tokens를 봐야 알 수 있죠. 둘 다 0이면 캐시가 안 된 거예요.
대화가 길어질 때
여러 턴이 이어지는 챗봇이라면 앤트로픽 문서는 자동 캐싱부터 시작하라고 권해요. 대화가 길어질수록 캐시 지점을 알아서 끝으로 옮겨 주거든요. 이때 중요한 건 이전 대화를 건드리지 않는 거예요. 오픈AI 가이드는 이전 턴을 고쳐 쓰지 말고 새 메시지를 뒤에 붙이라고 하고, 요약이나 압축(compaction)으로 앞부분이 바뀌면 캐시 재사용이 초기화될 수 있다고 적어요. 다만 압축으로 입력이 충분히 줄면 전체로는 더 쌀 수 있다는 단서도 붙이고요.
한 턴에 블록이 많이 붙는 에이전트라면 범위 문제도 있어요. 앤트로픽은 캐시 지점에서 거꾸로 최대 20블록까지만 이전 캐시를 찾아서, 마지막 쓰기 지점이 이 범위 밖으로 밀려나면 캐시를 놓쳐요. 문서는 그 위치 가까이에 두 번째 캐시 지점을 미리 찍어 두라고 권해요.
드문 작업은 몰아서, 첫 요청은 미리
하루 몇 번만 도는 정기 작업이라면 요청을 시간에 흩지 말고 유효 기간 안에 몰아 보내요. 직접 계산해 보면, 같은 앞부분을 공유하는 요청 20개를 5분 안에 보낼 때 그 앞부분의 비용은 1.25 + 19 × 0.1 = 3.15배로, 캐시 없이 드는 20배보다 약 84% 적어요. 공유하는 앞부분에만 해당하는 계산이라 전체 청구액이 그만큼 줄지는 않지만요.
첫 요청이 느린 게 문제라면 앤트로픽이 안내하는 미리 채우기(pre-warming)가 있어요. max_tokens를 0으로 두고 시스템 프롬프트에 캐시 지점을 찍은 뒤 짧은 자리표시용 메시지를 붙여 보내면, 답은 만들지 않고 캐시만 써 둔 채 바로 돌아오거든요. 출력 토큰 비용은 없지만 캐시 쓰기 요금은 똑같이 붙어요.
오픈AI라면 캐시할 곳을 직접 고르기
GPT-5.6 이후 모델은 기본적으로 마지막 메시지 끝에 자동으로 캐시 지점을 둬요. 매 요청의 새 질문까지 1.25배로 쓰게 되는 셈이죠. prompt_cache_options.mode를 explicit으로 바꾸면 직접 찍은 지점까지만 캐시에 쓰고, 그 뒤 내용은 쓰기 할증 없이 일반 입력 요금으로 처리돼요. 다시 쓰일 일이 없는 질문 부분에 할증을 내지 않아도 된다는 뜻이에요.
내 캐시가 돈을 아끼고 있는지 확인하는 법
결국 따져 볼 질문은 하나예요. 같은 앞부분을 유효 기간 안에 다시 읽느냐. 확신이 없다면 일단 켜 두고, 하루치 응답의 usage 필드에서 쓰기 토큰(cache_creation_input_tokens)과 읽기 토큰(cache_read_input_tokens)을 각각 더해 보세요. 이 두 숫자의 비율만 알면 손익을 바로 판단할 수 있거든요.
원리는 간단해요. 캐시에 쓴 토큰은 한 개마다 일반 입력보다 0.25만큼 더 내고, 캐시에서 읽은 토큰은 한 개마다 0.9만큼 덜 내요. 쓰기 100토큰에서 생긴 할증 25를 메우려면 읽기 토큰이 25 ÷ 0.9, 즉 약 28개 필요하죠. 그래서 5분 캐시와 0.1배 읽기 기준으로는 읽기 토큰이 쓰기 토큰의 약 28%를 넘어야 이득이에요. (직접 계산한 값이에요.)
실제 요금으로 바꿔 보면 더 잘 보여요. 앤트로픽 문서의 Claude Sonnet 4.6 요금(일반 입력 100만 토큰당 3달러, 5분 캐시 쓰기 3.75달러, 캐시 읽기 0.30달러)으로, 하루에 캐시 쓰기가 100만 토큰 찍힌 서비스를 세 경우로 나눠 계산해 봤어요.
| 하루 사용량 | 캐시를 켰을 때 | 캐시를 껐다면 | 결과 |
|---|---|---|---|
| 쓰기 100만, 읽기 20만 토큰 | 3.75 + 0.06 = 3.81달러 | 120만 × 3달러 = 3.60달러 | 0.21달러 손해 |
| 쓰기 100만, 읽기 50만 토큰 | 3.75 + 0.15 = 3.90달러 | 150만 × 3달러 = 4.50달러 | 0.60달러 이득 |
| 쓰기 100만, 읽기 900만 토큰 | 3.75 + 2.70 = 6.45달러 | 1,000만 × 3달러 = 30달러 | 23.55달러 이득 |
첫 줄은 읽기가 쓰기의 20%라 기준에 못 미쳐요. 읽기를 꽤 했는데도 캐시를 끈 쪽이 더 싸죠. 둘째 줄은 50%라 기준을 넘었고, 셋째 줄처럼 아홉 번씩 다시 읽는 구조라면 입력 비용이 5분의 1 수준으로 떨어져요.
설계를 잘해도 개발자가 정할 수 없는 부분은 남아요. 캐시를 직접 지울 수는 없고(앤트로픽), 캐시가 살아 있어도 요청이 그 캐시를 가진 서버로 가야 재사용되거든요(오픈AI). 숫자로 확인해야 하는 이유죠. 앤트로픽은 연속된 두 요청의 접두사가 어디서 달라졌는지 알려 주는 캐시 진단(cache diagnostics) 기능도 제공해요.
usage를 더해 봤는데 읽기 토큰이 쓰기 토큰의 28%에도 못 미친다면, 그 캐시는 돈을 아끼는 게 아니라 쓰고 있는 거예요. 앞에서 본 프롬프트 쌓는 순서부터 하나씩 다시 확인해 보세요.