構築前に AI API コストを見積もる方法

公開前にトークンとリクエスト量から AI API コストを見積もり、ローンチ後に単位経済が成り立たないことに気づかないようにする。

The problem

構築前の 5 分の見積もりは、ローンチ後の 5 桁の驚きに勝る。

予期せぬ事態を防ぐ見積もり

コードを書く前に、以下を見積もる。

  • リクエストあたりの入力トークン数(プロンプト+コンテキスト)
  • リクエストあたりの出力トークン数(応答)
  • ユーザー操作あたりの呼び出し回数(リトライとツールチェーンを含む)
  • 1 日のリクエスト量

すると月間コストの概算は次のようになる。

(入力トークン × 入力単価 + 出力トークン × 出力単価) × 呼び出し数 × リクエスト数 × 30

呼び出し乗数を忘れない

最大の見積もり誤差は、1 回のユーザー操作を 1 回のモデル呼び出しと仮定することだ。エージェントやツールチェーンは、1 回の操作を 3〜5 回の呼び出しにするのが常だ。

点ではなく幅で見積もる

最良と最悪の両方を想定する。

  • 最良:コンパクトなプロンプト、制限されたリトライ、キャッシュされたコンテキスト
  • 最悪:冗長な出力、リトライストーム、キャッシュなし

最悪の場合に単位経済が崩れるなら、構築前に設計を直す。

早期に検証する

プロトタイプができたら、サンプルで実際のトークンを測定し、推測をデータに置き換える。

クイックチェックリスト

  • トークン × 呼び出し × 量 を見積もる
  • リトライとツールチェーンの乗数を含める
  • 実際のプロトタイプのあとで再見積もりする

Related reading