吞吐量（每秒 Token 数）
吞吐量衡量模型生成 token 的速度。更高的吞吐量可降低由延迟驱动的重试与基础设施成本。
定义
吞吐量是模型每秒生成的 token 数。
为何关乎成本
生成慢会增加超时重试，以及在自托管环境下你支付的算力时间。更快的模型同时降低延迟与重试带来的浪费。
实用建议
对高量、对延迟敏感的路径，在选择模型时把吞吐量与每 token 价格一起权衡。
下一步
比较模型计价吞吐量衡量模型生成 token 的速度。更高的吞吐量可降低由延迟驱动的重试与基础设施成本。
吞吐量是模型每秒生成的 token 数。
生成慢会增加超时重试，以及在自托管环境下你支付的算力时间。更快的模型同时降低延迟与重试带来的浪费。
对高量、对延迟敏感的路径，在选择模型时把吞吐量与每 token 价格一起权衡。