中转站请求转发时目标推理服务显存不足返回503的重试策略

文章导读
目标推理服务因显存不足返回 503 时,重试策略要解决的核心不是“重试几次”,而是“判断失败是否可恢复”。显存不足通常有两种形态:一种是在高并发下瞬时超出 GPU 显存,请求被拒绝后过几秒就可能恢复;另一种是模型本身或推理引擎配置就无法支撑该请求的显存需求,重试多少次都不会成功。中转站需要在转发层区分这两种 503,否则盲目重试会放大压力。
📋 目录
  1. A 先从 503 里找出“可重试”的信号
  2. B 给中转站配一个带退避和熔断的重试骨架
  3. C 重试策略里的常见误区
  4. D 验证重试策略是否有效的检查清单
A A

目标推理服务因显存不足返回 503 时,重试策略要解决的核心不是“重试几次”,而是“判断失败是否可恢复”。显存不足通常有两种形态:一种是在高并发下瞬时超出 GPU 显存,请求被拒绝后过几秒就可能恢复;另一种是模型本身或推理引擎配置就无法支撑该请求的显存需求,重试多少次都不会成功。中转站需要在转发层区分这两种 503,否则盲目重试会放大压力。

先从 503 里找出“可重试”的信号

目标推理服务返回的 503 不一定带统一格式。有的响应头带 Retry-After,有的响应体里包含 error 字段和 out of memory 字样。中转站需要读取响应头和响应体,把 503 拆成三类。

中转站请求转发时目标推理服务显存不足返回503的重试策略
响应特征判断方向重试建议
响应头带 Retry-After: 15服务端已给出恢复时间按 Retry-After 重试一次,同时检查后续是否继续超时
响应体含 out of memory / OOM / CUDA out of memory显存不足首次遇到可短退避重试 1-2 次,随后进入熔断检查
响应体为空或标准负载均衡 503无法判断具体原因只重试一次,失败后熔断,不要把这类 503 当作长期可重试错误

建议在代码里写一个 should_retry 函数,把这些特征集中处理,不要散落在调用链路里。

给中转站配一个带退避和熔断的重试骨架

下面是一个通用重试骨架,用指数退避控制节奏,并在连续失败后打开熔断。代码中的参数只是示例,实际值需要结合目标服务的恢复速度调整。

中转站请求转发时目标推理服务显存不足返回503的重试策略
import time
import random

RETRY_STATUS = [503]
MAX_RETRIES = 3
BASE_DELAY = 1.0

def should_retry(status, text):
    if status not in RETRY_STATUS:
        return False
    if 'out of memory' in text.lower():
        return True
    return False

def send_to_target():
    # 替换为实际转发逻辑
    return (503, 'out of memory')

def relay():
    last_resp = None
    for attempt in range(MAX_RETRIES + 1):
        last_resp = send_to_target()
        if not should_retry(last_resp[0], last_resp[1]):
            return last_resp
        if attempt == MAX_RETRIES:
            break
        delay = BASE_DELAY * (2 ** attempt) + random.uniform(0, 0.5)
        time.sleep(delay)
    # 连续重试失败,打开熔断,冷却一段时间
    circuit_breaker.open_for(30)
    return last_resp

这个骨架的关键在于 should_retry 只处理显存不足特征。MAX_RETRIES 建议从 2-3 次试起,BASE_DELAY 可以选 1-2 秒,熔断冷却时间可以先用 30 秒,再根据目标服务的实际恢复曲线调整。如果目标服务有排队机制,也可以把 sleep 换成先进入本地队列,避免转发线程被重试占满。

中转站请求转发时目标推理服务显存不足返回503的重试策略

重试策略里的常见误区

  • 所有 503 都重试:目标服务可能因过载或限流返回 503,重试只会加剧拥堵。
  • 使用固定间隔重试:显存不足的恢复时间不固定,固定间隔要么太短导致空转,要么太长影响吞吐。
  • 重试不设上限:无限重试会拖垮中转站和目标服务。
  • 忽略熔断:重试失败后需要进入冷却,否则目标服务刚恢复又被打挂。
  • 不读取响应体:仅仅按状态码判断,会把可恢复和不可恢复的 503 混在一起。

验证重试策略是否有效的检查清单

  1. 用 curl 直接向目标服务发送高并发请求,记录显存不足时返回的 503 响应体和响应头,确认特征真实存在。
  2. 在中转站开启 debug 日志,确认重试决策只命中显存不足的 503,而不是所有 503。
  3. 人为触发一次显存不足,观察本次请求是否按配置的退避时间重试,并在连续失败后触发熔断。
  4. 观察目标服务的显存监控,确认重试期间显存占用逐步回落,而不是继续爬升。
  5. 恢复后确认中转站能解除熔断并正常转发,说明策略没有卡死链路。

这组检查项用于复核策略是否落地,具体阈值需要根据目标服务的恢复指标调整。