批量 API

批量 API 以折扣价异步处理大量请求集。适合能容忍延迟结果的任务。

定义

批量 API 接收许多请求并异步处理，通常在一个最多 24 小时的时间窗内以折扣价完成。

批量接口通常比实时调用便宜很多。把能容忍延迟的工作（回填、批量生成）移到批量，能在不改变输出质量的前提下削减支出。

按延迟容忍度路由：把所有能等的都批量，只把实时交互保留为实时。

下一步

上下文窗口是模型在单次请求中能看到的最大 token 数。填满时，每次调用的成本更高。

嵌入把文本转化为向量用于搜索与检索。按 token 计，它们通常远比生成便宜。

微调用你的数据训练模型。它能缩减提示与调用，但也要权衡前期训练成本。

蒸馏训练小模型模仿大模型，以一定的质量换取大规模下低得多的每 token 成本。