가이드 카테고리
AI API 비용을 줄이기 전에 이해해야 할 13가지
단순히 모델 가격만 비교하면 실제 비용을 놓치기 쉽습니다. 아래 카테고리는 계산기와 함께 사용할 수 있도록 구성한 한국어 설명입니다.
1. 입력 토큰과 출력 토큰
입력 토큰은 프롬프트, 시스템 지시문, 파일에서 추출한 텍스트, RAG 검색 결과, 이전 대화가 포함됩니다. 출력 토큰은 모델이 생성하는 답변입니다. 많은 API에서 출력 토큰 단가가 더 높기 때문에 긴 보고서나 상세한 표는 비용을 크게 늘릴 수 있습니다.
2. 한국어 토큰과 글자 수 환산
영어의 단어·글자 환산 경험칙을 한국어에 그대로 적용하면 오차가 커질 수 있습니다. 모델별 토크나이저로 대표 샘플을 측정하고, 시스템 지시문과 출력 토큰을 따로 더해야 합니다.
3. 사내 문서 RAG 비용
RAG는 전체 문서를 매번 보내는 방식이 아닙니다. 질문마다 검색된 일부 문단만 모델에 전달하는 것이 일반적입니다. 따라서 월 비용은 전체 문서 크기보다 질문 수, 검색 문단 수, 문단 길이, 답변 길이에 더 크게 영향을 받습니다.
4. PDF 요약 비용
PDF는 파일 크기와 토큰 수가 직접 대응하지 않습니다. 텍스트가 많은 매뉴얼, 스캔 문서, 표가 많은 보고서, 슬라이드형 PDF는 모두 다른 추정값을 가집니다. 한국어 PDF는 샘플 파일로 먼저 테스트한 뒤 안전 여유율을 넣는 것이 좋습니다.
5. 음성 전사 API 비용
회의, 상담 통화, 인터뷰의 전사 비용은 파일 크기가 아니라 청구 대상 음성 시간이나 오디오 토큰으로 계산하는 경우가 많습니다. 전사 뒤에 실행하는 요약, 번역, 액션 아이템 추출은 별도 텍스트 모델 비용으로 분리하세요.
6. 이미지와 비전 AI 토큰 비용
스크린샷, 영수증, 제품 사진, 스캔 페이지는 텍스트 프롬프트와 별도로 이미지 입력 토큰이 계산됩니다. 파일 용량보다 픽셀 크기, detail 설정, 이미지 개수, 출력 길이가 더 중요할 수 있습니다. 이미지 토큰 비용 계산 가이드에서 월간 계산 순서와 절감 방법을 확인할 수 있습니다.
7. 프롬프트 캐싱 비용
긴 시스템 지시문, 도구 정의, 예시나 문서를 반복해서 보낸다면 캐시 적중 입력과 새 입력을 분리해야 합니다. 적중률뿐 아니라 캐시 쓰기와 저장 비용까지 포함해야 실제 절감액을 알 수 있습니다.
8. GitHub 코드 분석 비용
코드는 토큰 밀도가 높은 편입니다. 하지만 전체 저장소를 매번 보내면 낭비가 큽니다. 의존성, 빌드 결과, 캐시, 생성 파일을 제외하고 아키텍처 검토, 보안 검토, 패치 생성처럼 라운드를 나누어 계산하세요.
AI 코드 리뷰와 GitHub PR 비용 계산 예시 보기
9. AI 챗봇 월 운영비
고객 상담 챗봇은 시스템 프롬프트와 질문뿐 아니라 매 턴 다시 보내는 대화 기록, RAG 검색 문단, 도구 결과와 재시도도 사용합니다. 첫 질문 비용에 턴 수를 곱하는 대신 대표 대화를 턴별로 측정하세요.
10. AI 에이전트 작업당 비용
AI 에이전트는 계획, 도구 호출, 결과 확인과 검증을 위해 한 작업에서 모델을 여러 번 호출합니다. 누적 컨텍스트, 도구 실행비와 부분·전체 재시도를 나누고 성공한 작업당 비용을 확인하세요.
11. 월간 AI API 비용 계산
월 비용은 1회 입력 토큰과 출력 토큰에 작업 반복 횟수, 하루 실행 수, 30일, 재시도 여유율을 곱해 잡는 것이 좋습니다. 실제 운영 전에는 평균 요청과 큰 요청을 따로 계산해 예산 범위를 확인하세요.
12. Batch API 비용과 절감액
즉시 응답이 필요 없는 분류, 요약, 평가 작업은 비동기 배치로 처리할 수 있습니다. 전체 요청 수에 할인율을 바로 적용하지 말고 배치 가능한 비용 비율, 실시간 요청, 실패·품질 재처리 비용을 분리하세요.
13. AI API 비용 절감
반복되는 컨텍스트는 요약하거나 캐시하고, 출력 형식을 제한하며, 쉬운 분류 작업은 저렴한 모델로 라우팅하세요. 실제 운영 후에는 API usage 값을 기록해 입력/출력 토큰, 재시도, 실패 요청, 사용자 행동당 비용을 확인해야 합니다.