RAG（检索增强生成）

RAG 在生成前检索相关上下文。做得好能削减 token 浪费；做得差会撑爆上下文。

定义

RAG 获取相关文档或片段并注入提示，让模型基于你的数据作答。

好的检索只发送需要的片段，保持输入 token 低。差的检索把整篇文档塞进上下文，抬高成本并损害相关性。

精准检索并限制片段数量。把 RAG 与缓存搭配，用于稳定的检索上下文。

下一步

批量 API 以折扣价异步处理大量请求集。适合能容忍延迟结果的任务。

上下文窗口是模型在单次请求中能看到的最大 token 数。填满时，每次调用的成本更高。

嵌入把文本转化为向量用于搜索与检索。按 token 计，它们通常远比生成便宜。

微调用你的数据训练模型。它能缩减提示与调用，但也要权衡前期训练成本。