AI Cost Save
AICostSave

AI 智能体的隐性成本:重试、循环与工具调用

智能体通过重试、工具链和无法收敛的循环放大成本。学会衡量并限制这些失控的部分。

The problem

一个每次用户消息调用模型五次的智能体,计费 token 就是五倍——还没算工具失败时的重试。

智能体成本藏在哪里

智能体中的一个用户操作可能触发:

  • 多次模型调用(规划 → 执行 → 观察 → 精修)
  • 返回冗长结果的工具调用
  • 工具失败或超时时的重试
  • 永远到不了停止条件的循环

每一步都在前一步的基础上叠加计费 token。

重试陷阱

一个工具 5% 的概率失败。你最多重试 3 次。调用量悄悄比看起来更高,成本也是——即便每次调用的平均 token 持平。

无法收敛的循环

如果智能体没有清晰的「完成」信号,它会不断精修。在有人叫停之前,循环的成本没有上限。

如何限制失控部分

  • 重试上限:限制每个工具的重试次数
  • 深度上限:限制允许的推理轮数
  • 收敛规则:达到目标就停,而不是「感觉」完成了才停
  • 按智能体预算:触及开销阈值时硬性停止

速查清单

  • 数的是每次用户操作的调用次数,而不只是 token
  • 限制重试与循环深度
  • 设置按智能体的预算与告警

Related reading