防止重试导致大模型费用超支:设置整体重试预算与动态阈值

文章导读
接到重试导致费用超支的反馈时,我不会先急着改模型单价配置,而是先翻开调用日志找重试痕迹。常见特征是同一条 prompt 在几秒内连续出现多次,并且每次返回的 token 数都比预期短。重试本身不直接产生费用,但它会把本应一次完成的请求放大成多次,费用自然跟着放大。
📋 目录
  1. Ⅰ 先确认现象:重试是产生费用的直接原因吗
  2. Ⅱ 容易误判:固定重试次数不等于费用可控
  3. Ⅲ 建议的处理顺序:先定整体预算,再动态计算剩余重试空间
  4. Ⅳ 配置或命令示例:用代码实现预算池和动态阈值
  5. Ⅴ 验证方法:用日志和账单反向核对
  6. Ⅵ 回滚和风险:预算系数怎么调,以及避免误伤
A A

接到重试导致费用超支的反馈时,我不会先急着改模型单价配置,而是先翻开调用日志找重试痕迹。常见特征是同一条 prompt 在几秒内连续出现多次,并且每次返回的 token 数都比预期短。重试本身不直接产生费用,但它会把本应一次完成的请求放大成多次,费用自然跟着放大。

先确认现象:重试是产生费用的直接原因吗

先看两个数字:重试次数和单次重试平均 token 消耗。如果重试发生在网络超时阶段,可能只消耗少量输入 token;如果发生在模型返回内容被判定不合格后,则每次都会完整计费。确认现象的方式不是看总账单,而是看同一请求标识(request_id)下出现了几次模型调用。

我通常会写一个短脚本,按 request_id 聚合日志,统计调用次数和 token 总和。这一步不做任何修改,只确认问题是否真的由重试累积引起。

容易误判:固定重试次数不等于费用可控

很多调用方把 max_retries 设成 3 就觉得安全了,其实固定次数只是限定了频次,没有限制费用。模型调用每次消耗的 token 不是固定的,prompt 长度和输出长度都可能波动。同样是一次重试,第一轮可能只花几百 token,后面某轮因为输出变长,可能花几千 token。

所以,用固定次数去控制费用,在输入输出长度稳定时勉强可用,长度一旦开始波动就会失效。

建议的处理顺序:先定整体预算,再动态计算剩余重试空间

这时再动手改代码,我建议按下面的顺序做。第一步是定义整体预算。防止费用超支的关键是先定义整体重试预算,而不是只限制单次请求的最大重试次数。在发起任务前,先根据 prompt 长度、预期输出长度和模型单价估算一次成功调用的成本,再把这笔费用乘上一个保守系数作为整个任务的重试总预算。重试逻辑每触发一次,就从该预算中扣除本次尝试的 token 消耗,余额不足时停止后续重试,并返回当前已有结果或明确失败。需要强调的是,系数不宜写得过大,否则预算形同虚设;但也不能低于一次完整尝试的成本,否则首次重试就会越界。

第二步是让阈值动态化。固定重试次数无法应对输入输出长度变化带来的费用波动。更合理的做法是动态计算剩余重试空间:每完成一次尝试后,用累计实际消耗除以已重试次数,得到当前的平均单次成本;再结合剩余预算,推算出最多还能继续尝试几次。如果平均成本在上升,说明后半程可能更贵,此时应主动缩小重试窗口。动态阈值不宜只在开始计算一次,而要放在每次重试之前重新估算,否则输出 token 数突然变长时,费用会快速突破原有预期。

这两步完成后,还要注意一个细节:不要把超时、限流和模型内容错误放在同一个预算池里。因为它们消耗 token 的特征不同,混在一起容易互相挤占。更好的做法是按错误类型拆分预算,优先保障内容错误之后的重试名额。这一点可以在后续维护时加上。

配置或命令示例:用代码实现预算池和动态阈值

下面是一个最小实现,先定义预算池。你可以在每个任务开始时初始化,然后在每次模型调用后扣除实际消耗。

class RetryBudget:
    def __init__(self, estimated_once_cost, factor=1.5):
        self.cap = estimated_once_cost * factor
        self.spent = 0

    def deduct(self, cost):
        self.spent += cost
        return self.spent <= self.cap

这个类里的 estimated_once_cost 是预估单次成功调用的费用,factor 是保守系数。deduct 方法在每次调用后执行,传入实际 token 成本,返回 False 就说明预算已经用完,不要再尝试。注意这里没有考虑花费为负的情况,如果日志里出现负 cost,需要先检查 token 统计是不是有误。

动态阈值的部分可以用一个函数判断“还能不能继续重试”:

def can_retry(budget, attempts, min_cost):
    if attempts == 0:
        return budget.cap - budget.spent >= min_cost
    avg_cost = (budget.spent + min_cost) / (attempts + 1)
    remaining = budget.cap - budget.spent
    return int(remaining / avg_cost) >= 1

这个函数里,min_cost 是下一次尝试的最小可能成本,通常用输入 token 乘以单价估算。attempts 是已经重试的次数。如果剩余预算除以平均成本还不到一次,就停止。把这个函数放在每次重试前调用,而不是在任务开始时调用一次。

两个函数合起来用,就能在预算用尽前暂停重试。失败时优先检查:每次调用返回的 cost 是否真实记录;attempts 是否在异常分支里漏加;min_cost 是否被设成 0,如果设成 0,判断会失效。

验证方法:用日志和账单反向核对

代码改完后,先喂一个已知会产生重试的测试用例,观察日志中预算扣除和“剩余预算不足”的打印。确认每次重试前都调用了 can_retry,并且扣费累计与账单中的 token 消耗对得上。

然后跑一个小的批量任务,比较这次的总费用和未加重试预算时的总费用。这里不需要去改模型单价,只需要看 token 消耗总和。如果费用比之前高,说明预算系数可能过大,或者 min_cost 估算偏低。

我习惯在日志里增加三个字段:budget_cap、budget_spent、retry_reason。这样之后任何一次费用异常,都能直接在日志里定位是哪一步突破了预算。

回滚和风险:预算系数怎么调,以及避免误伤

预算系数没有标准答案。通常建议先从 1.2 到 1.5 开始,观察一段时间后再调整。系数太小会频繁中断重试,导致原本可以成功的任务失败;系数太大则起不到限制作用。调整时每次只改一个参数,并保留之前的日志,方便对比。

另一个风险是动态阈值在输出长度分布极不均匀时会失真。比如前几次重试输出都很短,平均成本很低,突然一次输出特别长,预算被瞬间打穿。这时可以在平均成本之外再加一个单次上限,两者取严格。

回滚也很简单:把预算池功能通过开关关掉,恢复原来的固定重试次数逻辑即可。注意关闭后要同步观察费用是否回落,避免残留的旧任务继续按新逻辑跑。

最后,建议把整体的重试预算配置放到独立的配置中心或环境变量里,不要硬编码在代码中。当模型价格调整时,只需要改一个地方,而不需要重新发布。