日本語トークン見積もりガイド
日本語のトークン数と文字数の換算方法
日本語の文字数とAIトークン数に、すべてのモデルで使える固定の換算率はありません。初期予算では実際の文書に近いサンプルから換算率を作り、本番前には利用するモデルのトークナイザーやAPIレスポンスで確認しましょう。
英語の換算式をそのまま使えない理由
OpenAIが案内する「1トークンは約4文字、100トークンは約75単語」という目安は、一般的な英語テキストを対象としています。日本語は単語を空白で区切らず、漢字、ひらがな、カタカナ、英数字、記号の組み合わせによって分割結果が変わります。GPT、Claude、Geminiなど、モデルとトークナイザーが変われば同じ文章でもトークン数は一致しません。
代表サンプルから換算率を作る
- 実際の入力に近い日本語文書を10〜20件選びます。
- 空白を含む文字数と、利用予定モデルのトークン数を記録します。
- サンプル換算率 = 合計トークン数 ÷ 合計文字数で計算します。
- 通常文書と、表・コード・URLが多い文書を分けて平均値と大きめの値を保存します。
新しい文書は推定入力トークン = 文字数 × サンプル換算率で概算できます。たとえば50,000文字のサンプルが測定時に55,000トークンなら換算率は1文字あたり1.1トークンです。同種の12,000文字の文書は約13,200トークンから見積もり、最終的には実際のモデルで再測定します。
月間の日本語要約例
1文書の推定入力が13,200トークン、要約出力が800トークンとします。1日100件を30日処理する場合、文書本文だけで月3,960万入力トークン、要約は月240万出力トークンです。システム指示、再試行、複数ステップの呼び出しも加えてから、入力と出力の単価を別々に適用します。
文字数以外に含めるトークン
本文だけを数えると、システム指示、ユーザーの質問、会話履歴、RAGで取得した文脈、JSON形式の指定、モデルの回答を見落とします。API費用では入力トークンと出力トークンを分け、複数回呼び出す処理は各ステップのトークンを合計してください。
見積もり精度を上げるチェックリスト
- 日本語、英語、数字、コードの比率が実データに近いか
- 平均的な文書だけでなく、長文や表の多い文書も測定したか
- 本番で使うモデルと同じトークナイザーまたはトークン計数APIを使ったか
- 出力長、再試行率、月間リクエスト増加分を別に加えたか
公式資料: OpenAIのトークン解説、Geminiのトークン計数ガイド。正確な数値が必要な場合は、対象モデル用の公式ツールまたはAPIを使用してください。