速率限制(Rate Limit)
速率限制规定每个时间窗能发送多少请求或 token。触达限制会触发重试,从而抬高成本。
定义
速率限制是服务商设置的每分钟/每小时请求或 token 上限。
为何关乎成本
当你触达限制,应用通常会重试。重试成倍增加调用与 token,在流量高峰时悄悄抬高成本。
实用建议
加入退避与重试上限。无上限的重试会把一次限流事件变成成本飙升。
下一步
估算重试成本速率限制规定每个时间窗能发送多少请求或 token。触达限制会触发重试,从而抬高成本。
速率限制是服务商设置的每分钟/每小时请求或 token 上限。
当你触达限制,应用通常会重试。重试成倍增加调用与 token,在流量高峰时悄悄抬高成本。
加入退避与重试上限。无上限的重试会把一次限流事件变成成本飙升。