AI Cost Save
AICostSave

提示词缓存:如何削减重复提示的成本

提示词缓存能把重复上下文的输入 token 成本削减 50%–90%。了解它的原理与适用场景。

The problem

如果你的应用每次请求都发送同样冗长的系统提示或文档,那你每次都在为重复发送买单。缓存能解决这个问题。

为什么重复上下文很贵

许多应用每次调用都发送相同内容:

  • 包含指令的长系统提示
  • 检索到的文档或知识库片段
  • 很少变化的对话历史

这些内容在下次请求时会被再次计费。

提示词缓存如何工作

服务商允许你把稳定的前缀标记为已缓存。第一次请求按完整输入价格计费;之后复用同一前缀的请求按低得多的缓存 token 费率计费。

对该前缀的输入成本,节省通常在 50% 到 90% 之间。

什么时候值得用缓存

在以下情况缓存效果最强:

  • 相同的长上下文在大量请求中重复
  • 请求频繁(调用量大)
  • 前缀能稳定保持数分钟或更久

如果每个请求都独一无二,缓存几乎没用。

实操设置

  • 把稳定内容(系统提示、参考文档)放在上下文顶部
  • 在调用之间保持缓存前缀不变
  • 关注缓存命中率,而不只是费率折扣

速查清单

  • 找出提示中的重复前缀
  • 在前缀稳定处开启缓存
  • 每周追踪缓存命中率

Related reading