비동기 AI 비용 절감 가이드

Batch API 비용과 절감액 계산 방법

Batch API는 즉시 답변할 필요가 없는 대량 요청을 비동기로 처리해 비용을 줄이는 방식입니다. 일반 API 비용을 기준선으로 잡고, 실제로 기다릴 수 있는 요청에만 제공사의 최신 배치 단가를 적용하세요.

배치 처리에 맞는 작업

문서 요약, 데이터 추출, 오프라인 분류, 평가 실행, 번역 대기열, 야간 데이터 보강처럼 결과를 나중에 받아도 되는 작업이 적합합니다. 반대로 실시간 채팅, 사용자 검색, 즉시 도구를 실행해야 하는 에이전트에는 맞지 않습니다. 한 제품 안에서도 과거 데이터 일괄 처리는 배치로, 새 사용자 요청은 실시간으로 나누는 편이 현실적입니다.

먼저 다섯 가지를 기록하세요

레코드 수: 한 번에 처리할 문서, 행, 문의, 이미지 또는 평가 사례 수입니다.
건당 입력 토큰: 공통 지시문과 각 레코드 내용을 합친 값입니다.
건당 출력 토큰: 요약, JSON 필드, 분류 결과 또는 번역문 길이입니다.
배치 가능 비율: 요청 수가 아니라 일반 비용 중 비동기로 옮길 수 있는 비율입니다.
실패·품질 재처리율: 실행 오류와 완료됐지만 품질 검사에서 탈락한 결과를 구분합니다.

혼합 처리 비용 계산식

일반 기준 비용 = 전체 입력 비용 + 전체 출력 비용

혼합 처리 비용 = 일반 기준 비용 × (1 − 배치 가능 비용 비율 × 배치 할인율)

순절감액 = 일반 기준 비용 − 혼합 처리 비용 − 추가 재처리 비용 − 추가 운영 비용

입력과 출력의 할인율이 다르다면 두 비용을 따로 계산해야 합니다. 큰 문서가 주로 배치 대상이라면 요청 건수 비율 대신 토큰 비용 비율을 사용하세요.

고객 문의 4만 건 계산 예시

건당 입력 1,200토큰과 출력 180토큰인 문의 40,000건을 분류·요약한다고 가정합니다. 예시 계산에만 입력 100만 토큰당 $2, 출력 100만 토큰당 $8, 배치 단가는 각각 절반을 사용합니다. 특정 모델의 현재 가격을 뜻하지 않습니다.

모두 실시간: 입력 4,800만 토큰과 출력 720만 토큰 = $153.60
모두 배치: 같은 사용량에 예시 배치 단가 적용 = $76.80
배치 완료 후 6%를 한 번 재처리: $76.80 × 1.06 = $81.41
비용의 75%만 배치 가능: $153.60 × (1 − 0.75 × 0.50) = $96.00

배치 할인율이 50%여도 전체 비용이 항상 50% 줄지는 않습니다. 마지막 경우 전체 절감률은 37.5%이며, 여기에 검수·저장·오케스트레이션 비용이 추가되면 순절감액은 더 작아집니다.

만료와 실패를 중복 계산하지 마세요

배치가 만료됐다고 모든 요청을 다시 제출하면 완료된 레코드를 중복 처리할 수 있습니다. OpenAI의 한국어 FAQ에 따르면 만료 시 완료된 요청만 청구되고 남은 요청은 취소됩니다. 출력 파일과 오류 파일을 고유 ID로 대조해 실행되지 않았거나 다시 처리해야 하는 레코드만 제출하세요. 실행 실패와 완료 후 품질 탈락은 서로 다른 재처리 원인입니다.

계산기에 적용하는 순서

먼저 계산기에서 전체 작업의 입력·출력 토큰과 일반 비용을 구합니다. 이후 기다릴 수 있는 비용 비율에만 배치 단가를 적용하고, 실시간 요청과 재처리 비용을 더하세요. 반복되는 긴 지시문도 있다면 프롬프트 캐싱 비용을 별도로 비교하고, 월 반복량은 월간 AI API 비용 가이드로 확장할 수 있습니다.

일반 기준 비용 계산하기