AI エージェントの隠れたコスト:リトライ・ループ・ツール呼び出し
エージェントはリトライ・ツールチェーン・収束しないループによってコストを増幅する。その暴走部分を計測し制限する方法を学ぶ。
The problem
ユーザーメッセージごとにモデルを 5 回呼び出すエージェントは、トークンを 5 倍請求する。ツール失敗時のリトライはまだ入っていない。
エージェントコストが潜む場所
エージェントでの 1 回のユーザー操作が引き起こすもの:
- 複数のモデル呼び出し(計画 → 実行 → 観察 → 仕上げ)
- 冗長な結果を返すツール呼び出し
- ツール失敗やタイムアウト時のリトライ
- 停止条件に決して到達しないループ
各ステップが前のステップの上に課金トークンを積み上げる。
リトライの罠
あるツールが 5% の確率で失敗する。最大 3 回リトライする。すると呼び出し量は見かけより高く、コストも高い——たとえ 1 回あたりの平均トークンが横ばいでも。
収束しないループ
エージェントに明確な「完了」信号がなければ、仕上げ続ける。誰かが止めるまで、ループのコストには上限がない。
暴走部分を制限するには
- リトライ上限:ツールごとの試行回数を制限する
- 深さ上限:許可する推論ターン数を制限する
- 収束ルール:目標に達したら止める、「感覚的に」終わったらではなく
- エージェント単位の予算:支出がしきい値を超えたら強制停止
クイックチェックリスト
- トークンだけでなく、ユーザー操作あたりの呼び出し回数を数える
- リトライとループ深さを制限する
- エージェント単位の予算とアラートを設ける
Related reading
Blog
AI API コスト監視:支出を追跡し削減する
請求書が届く前に、トークンの無駄・リトライの急増・暴走するエージェントを検知する AI API コスト監視を構築する。
Blog
バッチ API とリアルタイム:非同期で 50% 節約する場面
バッチ API は非同期ジョブに大きな割引を提供する。いつバッチへ回すか、いつリアルタイムの割増しに値するかを学ぶ。
Blog
モデルルーティング:安いモデルと高いモデルの使い分け
モデルルーティングは簡単なタスクを安いモデルへ、難しいタスクを高性能モデルへ回す。品質を落とさずコストを削減できることが多い。
Blog
構築前に AI API コストを見積もる方法
公開前にトークンとリクエスト量から AI API コストを見積もり、ローンチ後に単位経済が成り立たないことに気づかないようにする。
