批量 API
批量 API 以折扣价异步处理大量请求集。适合能容忍延迟结果的任务。
上下文窗口
上下文窗口是模型在单次请求中能看到的最大 token 数。填满时，每次调用的成本更高。
嵌入（Embeddings）
嵌入把文本转化为向量用于搜索与检索。按 token 计，它们通常远比生成便宜。
微调（Fine-tuning）
微调用你的数据训练模型。它能缩减提示与调用，但也要权衡前期训练成本。
模型蒸馏（Model Distillation）
蒸馏训练小模型模仿大模型，以一定的质量换取大规模下低得多的每 token 成本。
提示词缓存
提示词缓存通过在请求间缓存稳定的前缀，降低重复上下文的输入成本。
RAG（检索增强生成）
RAG 在生成前检索相关上下文。做得好能削减 token 浪费；做得差会撑爆上下文。
速率限制（Rate Limit）
速率限制规定每个时间窗能发送多少请求或 token。触达限制会触发重试，从而抬高成本。
流式（Streaming）
流式在生成时逐 token 返回，提升感知延迟。它不改变 token 成本，但影响体验与超时。
温度（Temperature）
温度控制输出的随机性。较低的值更容易推理，也更利于成本规划的可预测性。
吞吐量（每秒 Token 数）
吞吐量衡量模型生成 token 的速度。更高的吞吐量可降低由延迟驱动的重试与基础设施成本。
Token（令牌）
Token 是 LLM 服务商计费的单元——大致相当于一个词片段。Token 数量几乎决定了所有 AI API 成本。
