モデルルーティング：安いモデルと高いモデルの使い分け

モデルを比べる間違い方

トークン単価の表だけを比べると誤解を招く。2 回の仕上げが必要な安いモデルは、1 回で終わる高性能モデルより高くつくこともある。

比べるべきは1 回のユーザー操作あたりの総課金トークン数であって、料金表ではない。

シンプルなルーティングのルール

• 安いモデルを抽出・分類・要約・ルーティング判断に
• 高性能モデルは最終ドラフト・複雑な推論・曖昧なタスクにのみ

多くのワークフローは 80% が簡単で 20% が難しい。それに従ってルーティングする。

例

サポートのワークフロー：分類 → 取得 → ドラフト → 仕上げ。

• 分類と取得：安いモデル
• ドラフト：安いモデル
• リスクの高い 20% の仕上げ：高性能モデル

結果は「すべて高性能」と同等になりがちで、コストはその一部で済む。

ガードレール

• ルーティングを決める信頼度しきい値を設ける
• 高性能モデルの呼び出し頻度を制限する
• 品質の苦情が増えたらルーティングを見直す

クイックチェックリスト

• タスクを複雑さで分割する
• 簡単なステップを安いモデルへルーティングする
• 高性能モデルは最終品質のために取っておく