上下文窗口

定义

上下文窗口是单次请求的总 token 预算：系统提示 + 对话 + 检索数据 + 模型的响应。

为何关乎成本

窗口中的每个 token 都按输入计费（生成的输出除外）。一个塞满重复历史的 20 万 token 窗口，能把一次便宜的调用变得昂贵。

实用建议

每一轮只发送模型需要的内容。用摘要、检索和分块选择，而不是把完整历史一股脑倒进去。更小的上下文意味着更低成本，往往也有更好的答案。