流式(Streaming)
流式在生成时逐 token 返回,提升感知延迟。它不改变 token 成本,但影响体验与超时。
定义
流式逐 token 交付模型输出,而不是一次性全部返回。
为何关乎成本
流式不改变计费 token 数——你付的一样多。但它改善了感知速度,并能减少本会引发重试(及额外成本)的客户端超时。
实用建议
对用户-facing 的生成使用流式,以避免超时驱动的重试,同时保留输出 token 上限。
下一步
规划 API 成本流式在生成时逐 token 返回,提升感知延迟。它不改变 token 成本,但影响体验与超时。
流式逐 token 交付模型输出,而不是一次性全部返回。
流式不改变计费 token 数——你付的一样多。但它改善了感知速度,并能减少本会引发重试(及额外成本)的客户端超时。
对用户-facing 的生成使用流式,以避免超时驱动的重试,同时保留输出 token 上限。