提示词缓存:如何削减重复提示的成本
提示词缓存能把重复上下文的输入 token 成本削减 50%–90%。了解它的原理与适用场景。
The problem
如果你的应用每次请求都发送同样冗长的系统提示或文档,那你每次都在为重复发送买单。缓存能解决这个问题。
为什么重复上下文很贵
许多应用每次调用都发送相同内容:
- 包含指令的长系统提示
- 检索到的文档或知识库片段
- 很少变化的对话历史
这些内容在下次请求时会被再次计费。
提示词缓存如何工作
服务商允许你把稳定的前缀标记为已缓存。第一次请求按完整输入价格计费;之后复用同一前缀的请求按低得多的缓存 token 费率计费。
对该前缀的输入成本,节省通常在 50% 到 90% 之间。
什么时候值得用缓存
在以下情况缓存效果最强:
- 相同的长上下文在大量请求中重复
- 请求频繁(调用量大)
- 前缀能稳定保持数分钟或更久
如果每个请求都独一无二,缓存几乎没用。
实操设置
- 把稳定内容(系统提示、参考文档)放在上下文顶部
- 在调用之间保持缓存前缀不变
- 关注缓存命中率,而不只是费率折扣
速查清单
- 找出提示中的重复前缀
- 在前缀稳定处开启缓存
- 每周追踪缓存命中率
下一步
估算 token 节省