構築前に AI API コストを見積もる方法
公開前にトークンとリクエスト量から AI API コストを見積もり、ローンチ後に単位経済が成り立たないことに気づかないようにする。
The problem
構築前の 5 分の見積もりは、ローンチ後の 5 桁の驚きに勝る。
予期せぬ事態を防ぐ見積もり
コードを書く前に、以下を見積もる。
- リクエストあたりの入力トークン数(プロンプト+コンテキスト)
- リクエストあたりの出力トークン数(応答)
- ユーザー操作あたりの呼び出し回数(リトライとツールチェーンを含む)
- 1 日のリクエスト量
すると月間コストの概算は次のようになる。
(入力トークン × 入力単価 + 出力トークン × 出力単価) × 呼び出し数 × リクエスト数 × 30
呼び出し乗数を忘れない
最大の見積もり誤差は、1 回のユーザー操作を 1 回のモデル呼び出しと仮定することだ。エージェントやツールチェーンは、1 回の操作を 3〜5 回の呼び出しにするのが常だ。
点ではなく幅で見積もる
最良と最悪の両方を想定する。
- 最良:コンパクトなプロンプト、制限されたリトライ、キャッシュされたコンテキスト
- 最悪:冗長な出力、リトライストーム、キャッシュなし
最悪の場合に単位経済が崩れるなら、構築前に設計を直す。
早期に検証する
プロトタイプができたら、サンプルで実際のトークンを測定し、推測をデータに置き換える。
クイックチェックリスト
- トークン × 呼び出し × 量 を見積もる
- リトライとツールチェーンの乗数を含める
- 実際のプロトタイプのあとで再見積もりする
Related reading
Blog
AI API コスト監視:支出を追跡し削減する
請求書が届く前に、トークンの無駄・リトライの急増・暴走するエージェントを検知する AI API コスト監視を構築する。
Blog
バッチ API とリアルタイム:非同期で 50% 節約する場面
バッチ API は非同期ジョブに大きな割引を提供する。いつバッチへ回すか、いつリアルタイムの割増しに値するかを学ぶ。
Blog
モデルルーティング:安いモデルと高いモデルの使い分け
モデルルーティングは簡単なタスクを安いモデルへ、難しいタスクを高性能モデルへ回す。品質を落とさずコストを削減できることが多い。
Blog
AI エージェントの隠れたコスト:リトライ・ループ・ツール呼び出し
エージェントはリトライ・ツールチェーン・収束しないループによってコストを増幅する。その暴走部分を計測し制限する方法を学ぶ。
