AI Cost Save
AICostSave

速率限制(Rate Limit)

速率限制规定每个时间窗能发送多少请求或 token。触达限制会触发重试,从而抬高成本。

定义

速率限制是服务商设置的每分钟/每小时请求或 token 上限。

为何关乎成本

当你触达限制,应用通常会重试。重试成倍增加调用与 token,在流量高峰时悄悄抬高成本。

实用建议

加入退避与重试上限。无上限的重试会把一次限流事件变成成本飙升。

Related reading