AI Cost Save
AICostSave

流式(Streaming)

流式在生成时逐 token 返回,提升感知延迟。它不改变 token 成本,但影响体验与超时。

定义

流式逐 token 交付模型输出,而不是一次性全部返回。

为何关乎成本

流式不改变计费 token 数——你付的一样多。但它改善了感知速度,并能减少本会引发重试(及额外成本)的客户端超时。

实用建议

对用户-facing 的生成使用流式,以避免超时驱动的重试,同时保留输出 token 上限。

Related reading