고객 상담 챗봇 예산 설계
AI 챗봇 비용 계산 방법
챗봇 비용은 질문 한 개와 답변 한 개만으로 계산할 수 없습니다. 대화당 턴 수, 매번 다시 보내는 대화 기록, 검색 문단, 도구 결과, 재시도와 월간 상담량을 함께 계산해야 합니다.
한 번의 대화를 턴별로 나누기
실제 또는 현실적인 상담 기록을 여러 개 준비하세요. 각 턴에서 사용자 질문, 시스템 지시문, 이전 대화, RAG로 검색한 도움말, 도구 실행 결과와 모델 답변을 구분합니다. 이전 대화를 다시 전송하므로 같은 상담 안에서도 뒤쪽 턴의 입력 토큰이 더 많아질 수 있습니다.
짧은 문의, 일반 문의, 상담원 이관이 필요한 긴 문의를 별도 시나리오로 계산하세요. 첫 질문만 기준으로 잡으면 반복 확인, 오류 로그, 긴 주문 정보와 문제 해결 과정의 비용을 놓치기 쉽습니다.
챗봇 월 비용 계산식
월간 예산 공식
대화당 입력 토큰 = 각 턴의 시스템 프롬프트 + 사용자 질문 + 재전송한 대화 기록 + 검색 문단 + 도구 결과
대화당 출력 토큰 = 답변 + 대화 요약 + 도구 호출 인자
월 비용 = 대화당 입력 비용 + 출력 비용을 합한 뒤 월 대화 수와 재시도 여유율 적용
대화 기록은 턴마다 누적되므로 단순히 첫 턴 비용에 턴 수를 곱하지 마세요. 고객센터 문서를 검색한다면 RAG 비용 가이드를 함께 사용해 검색 문단과 색인 비용을 분리합니다.
출시 전에 측정할 항목
- 시스템 프롬프트: 정책, 답변 형식, 예시와 도구 설명
- 사용자 질문: 짧은 문의, 주문 정보, 오류 메시지와 붙여 넣은 로그
- 대화 기록: 요약하거나 잘라내기 전까지 다시 보내는 이전 턴
- 검색 컨텍스트: 도움말 문서, 계정 정보, 검색 결과와 상품 데이터
- 답변 길이: 간단한 안내와 단계별 문제 해결 답변의 차이
- 재시도와 이관: 형식 오류, 도구 실패, 안전 검사와 상담원용 요약
고객 상담 챗봇 계산 예시
시스템 프롬프트 1,500토큰, 턴당 사용자 질문 300토큰, 도움말 검색 문단 1,800토큰, 답변 500토큰을 사용하는 챗봇을 가정합니다. 평균 대화가 5턴이면 이전 질문과 답변이 누적되는 각 턴의 입력을 따로 더해야 합니다.
먼저 대표 대화 한 건의 입력·출력 토큰을 측정하고 하루 대화 수와 30일을 곱하세요. 긴 로그를 붙이거나 해결될 때까지 여러 번 묻는 사용자는 별도 상한 시나리오로 계산합니다. 선택한 모델의 최신 단가는 구매 전에 제공사 공식 가격표에서 확인하세요.
챗봇 비용을 줄이는 방법
오래된 대화는 요약하고, 검색 문단 길이와 개수를 제한하며, 사용하지 않는 도구 필드를 제거하세요. 기본 답변은 간결하게 만들고, 단순 FAQ는 더 저렴한 모델이나 검증된 고정 답변으로 라우팅할 수 있습니다. 반복되는 시스템 지시문은 프롬프트 캐싱 비용 가이드에서 손익분기점을 확인하세요.
출시 후 실제 비용으로 교체하기
입력·출력·캐시 토큰, 대화당 턴 수, 검색 문단 크기, 재시도, 상담원 이관과 해결된 문의당 비용을 기록하세요. 일반 대화와 긴 대화의 분포가 쌓이면 평균값 하나보다 월 예산 범위를 정확히 예측할 수 있습니다.