AI API 비용 절감 가이드

프롬프트 캐싱 비용 계산 방법

프롬프트 캐싱은 반복되는 입력의 처리 비용을 줄일 수 있지만 새 질문과 출력까지 할인하지는 않습니다. 반복 입력, 캐시 적중과 실패, 새 입력, 출력, 캐시 쓰기·저장을 분리해야 실제 절감액을 계산할 수 있습니다.

어떤 토큰이 캐시 대상인가요?

고정된 시스템 지시문, 도구 정의, 예시, 긴 참고 문서처럼 여러 요청의 앞부분에서 반복되는 입력이 주요 대상입니다. 사용자 질문, 새 RAG 검색 결과, 현재 시각처럼 매번 달라지는 내용은 일반 입력으로 계산하고, 생성된 답변은 출력 단가를 적용합니다.

제공사와 모델마다 최소 길이, 만료 시간, 프롬프트 순서 조건이 다릅니다. 반복 문장이 있다는 이유만으로 모든 요청이 적중한다고 가정하지 말고 실제 응답의 usage 필드에서 캐시된 토큰을 확인해야 합니다.

먼저 다섯 가지 사용량을 기록하세요

• 반복 입력 토큰: 요청마다 동일하게 유지되는 프롬프트 앞부분입니다.
• 새 입력 토큰: 질문, 검색 결과, 신규 대화처럼 요청마다 바뀌는 부분입니다.
• 출력 토큰: 모델이 생성하는 답변 길이입니다.
• 캐시 적중률: 전체 요청 중 반복 입력이 실제로 캐시에서 읽힌 비율입니다.
• 쓰기·저장 비용: 제공사가 캐시 생성이나 TTL 기준 저장에 별도 요금을 부과하는지 확인합니다.

월간 고객 지원 챗봇 예시

요청마다 상담 정책과 도구 정의 20,000토큰, 새 질문과 고객 정보 2,000토큰, 답변 1,000토큰을 사용하고 월 10,000회 호출한다고 가정해 보겠습니다. 적중률이 80%라면 1억 6천만 토큰은 캐시 입력 단가, 캐시 실패분 4천만 토큰과 새 입력 2천만 토큰은 일반 입력 단가, 출력 1천만 토큰은 출력 단가로 계산합니다. 여기에 캐시 쓰기나 저장 요금이 있다면 더합니다.

손익분기점은 캐시 읽기로 절약한 금액이 쓰기·저장 비용을 넘는 시점입니다. 반복 횟수가 적거나 프롬프트가 자주 바뀌어 적중률이 낮다면 캐시를 쓰지 않는 편이 더 저렴할 수 있습니다.

적중률을 높이되 측정으로 확인하세요

고정 지시문과 예시는 앞쪽에, 사용자 질문과 검색 결과는 뒤쪽에 배치하세요. 반복 구간에 타임스탬프, 요청 ID, 임의 순서의 JSON을 넣으면 동일한 앞부분이 깨질 수 있습니다. 프롬프트 버전이 바뀔 때는 이전 캐시가 얼마나 자주 무효화되는지도 기록하세요.

대표 트래픽으로 시험한 뒤 캐시 토큰 수, 일반 입력 토큰 수, 출력 토큰 수와 청구액을 함께 저장하세요. 적중률만 보고 판단하면 긴 출력이나 저장 비용 때문에 총비용이 늘어난 경우를 놓칠 수 있습니다.

최신 제공사 규칙 확인

가격과 지원 모델은 변경될 수 있습니다. 배포 전 OpenAI 프롬프트 캐싱 문서, Claude 프롬프트 캐싱 문서, Gemini 컨텍스트 캐싱 문서에서 최소 토큰, 만료와 캐시 저장 비용을 다시 확인하세요.

계산기에 적용하는 순서

먼저 계산기에서 캐시를 사용하지 않는 전체 입력·출력 비용을 기준선으로 계산하세요. 그다음 반복 입력 중 실제 적중한 토큰에만 캐시 입력 단가를 적용하고 쓰기·저장 비용을 더해 두 결과를 비교합니다. 월 호출량과 재시도까지 포함하려면 월간 AI API 비용 가이드도 함께 확인하세요.

캐시 미사용 기준 비용 계산하기