カスタマーサポートの予算設計
AIチャットボットのAPI費用を計算する方法
チャットボットの月額費用は、質問と回答の1往復だけでは決まりません。会話ごとのターン数、再送する履歴、検索文脈、ツール結果、再試行、月間会話数を合わせて見積もります。
会話履歴はターンごとに増える
短い問い合わせ、標準的な問い合わせ、担当者への引き継ぎが必要な長い問い合わせをそれぞれ用意し、実際の会話に近い形で計測します。各ターンについて、システム指示、ユーザー入力、過去の会話、RAGで取得した文書、ツール結果、モデルの回答を分けて記録してください。
多くの構成では、過去のやり取りを次のリクエストへ再送します。そのため、最初のターンの費用に平均ターン数を掛けるだけでは、後半で増える入力トークンを見落とします。
月額費用の基本式
会話あたりの入力 = システム指示 + 質問 + 再送した会話履歴 + 検索文脈 + ツール結果
会話あたりの出力 = 回答 + 会話要約 + ツール呼び出し引数
月額API費用 = 会話あたりの入出力費用 × 月間会話数 × 再試行分の係数
月間カスタマーサポートの例
システム指示が1,200トークン、1ターンの質問が250トークン、検索文脈が1,500トークン、回答が450トークンで、平均5ターンの問い合わせを想定します。各ターンで累積する質問と回答を含めて会話1件の入出力を合計し、その値に1日あたりの会話数と30日を掛けます。
長いエラーログや注文履歴を送る問い合わせは別の上限シナリオにしてください。利用するモデルの入力・出力単価は変更されるため、公開前と予算更新時に提供元の公式料金表を確認します。
RAGとツール利用を分けて数える
社内FAQや商品情報を検索する場合は、取得チャンクの長さと件数が入力費用に影響します。検索インデックス、埋め込み、ストレージの費用はLLMのトークン料金と分け、RAG費用ガイドで確認してください。注文照会などのツールを使う場合は、ツール定義と返却データも入力に含めます。
運用費を抑える確認項目
- 古い会話を要約し、必要のない履歴を送らない
- 検索チャンクの件数と長さに上限を設ける
- 使わないツール定義や大きなJSON項目を除く
- 回答の形式と長さを明示し、不要な長文を避ける
- 繰り返す指示はプロンプトキャッシュの対象を検討する
公開後は実測値へ置き換える
APIレスポンスから入力、出力、キャッシュ済みトークンを記録し、会話あたりのターン数、検索文脈、再試行率、担当者への引き継ぎ率も集計します。平均だけでなく短い会話と長い会話の分布を持つと、月間予算の下限と上限を更新できます。