가이드 카테고리
AI API 비용을 줄이기 전에 이해해야 할 5가지
단순히 모델 가격만 비교하면 실제 비용을 놓치기 쉽습니다. 아래 카테고리는 계산기와 함께 사용할 수 있도록 구성한 한국어 설명입니다.
1. 입력 토큰과 출력 토큰
입력 토큰은 프롬프트, 시스템 지시문, 파일에서 추출한 텍스트, RAG 검색 결과, 이전 대화가 포함됩니다. 출력 토큰은 모델이 생성하는 답변입니다. 많은 API에서 출력 토큰 단가가 더 높기 때문에 긴 보고서나 상세한 표는 비용을 크게 늘릴 수 있습니다.
2. 사내 문서 RAG 비용
RAG는 전체 문서를 매번 보내는 방식이 아닙니다. 질문마다 검색된 일부 문단만 모델에 전달하는 것이 일반적입니다. 따라서 월 비용은 전체 문서 크기보다 질문 수, 검색 문단 수, 문단 길이, 답변 길이에 더 크게 영향을 받습니다.
3. PDF 요약 비용
PDF는 파일 크기와 토큰 수가 직접 대응하지 않습니다. 텍스트가 많은 매뉴얼, 스캔 문서, 표가 많은 보고서, 슬라이드형 PDF는 모두 다른 추정값을 가집니다. 한국어 PDF는 샘플 파일로 먼저 테스트한 뒤 안전 여유율을 넣는 것이 좋습니다.
4. GitHub 코드 분석 비용
코드는 토큰 밀도가 높은 편입니다. 하지만 전체 저장소를 매번 보내면 낭비가 큽니다. 의존성, 빌드 결과, 캐시, 생성 파일을 제외하고 아키텍처 검토, 보안 검토, 패치 생성처럼 라운드를 나누어 계산하세요.
5. AI API 비용 절감
반복되는 컨텍스트는 요약하거나 캐시하고, 출력 형식을 제한하며, 쉬운 분류 작업은 저렴한 모델로 라우팅하세요. 실제 운영 후에는 API usage 값을 기록해 입력/출력 토큰, 재시도, 실패 요청, 사용자 행동당 비용을 확인해야 합니다.