模型路由：何时用便宜模型，何时用昂贵模型
模型路由把简单任务交给便宜模型，把困难任务留给高端模型——往往能在不损失质量的前提下削减成本。
The problem
最便宜的模型未必是每 token 费率最低的那个。最便宜的是用最少计费 token 完成任务的那一个。
比较模型的错误方式
只比较每 token 的标价会误导人。一个需要两次精修的便宜模型，可能比一次就完成的高端模型更贵。
比较的是每次用户操作的总计费 token 数，而不是价目表。
简单的路由规则
- 便宜模型用于抽取、分类、摘要与路由判断
- 高端模型只用于最终草稿、复杂推理或模糊任务
多数工作流是 80% 简单、20% 困难。据此路由。
示例
一个客服工作流：分类 → 检索 → 草稿 → 润色。
- 分类与检索：便宜模型
- 草稿：便宜模型
- 润色那 20% 的风险内容：高端模型
结果往往与「处处用高端」持平，成本却只是一小部分。
护栏
- 设置置信度阈值来决定路由
- 限制高端模型的调用频率
- 质量投诉上升时重新检查路由
速查清单
- 按复杂度拆分任务
- 把简单步骤路由到便宜模型
- 把高端模型留给最终质量
下一步
比较模型成本