模型蒸馏（Model Distillation）
蒸馏训练小模型模仿大模型，以一定的质量换取大规模下低得多的每 token 成本。
定义
蒸馏训练一个更小、更便宜的模型来复现更大模型的行为。
为何关乎成本
蒸馏模型可能每 token 便宜得多，也更快，这在高调用量下复利累积——只要任务能接受质量损失。
实用建议
把蒸馏用于高量、低风险的步骤，把大模型留给质量关键的任务。
下一步
模型成本对比蒸馏训练小模型模仿大模型，以一定的质量换取大规模下低得多的每 token 成本。
蒸馏训练一个更小、更便宜的模型来复现更大模型的行为。
蒸馏模型可能每 token 便宜得多，也更快，这在高调用量下复利累积——只要任务能接受质量损失。
把蒸馏用于高量、低风险的步骤，把大模型留给质量关键的任务。