目标推理服务因显存不足返回 503 时,重试策略要解决的核心不是“重试几次”,而是“判断失败是否可恢复”。显存不足通常有两种形态:一种是在高并发下瞬时超出 GPU 显存,请求被拒绝后过几秒就可能恢复;另一种是模型本身或推理引擎配置就无法支撑该请求的显存需求,重试多少次都不会成功。中转站需要在转发层区分这两种 503,否则盲目重试会放大压力。
先从 503 里找出“可重试”的信号
目标推理服务返回的 503 不一定带统一格式。有的响应头带 Retry-After,有的响应体里包含 error 字段和 out of memory 字样。中转站需要读取响应头和响应体,把 503 拆成三类。
| 响应特征 | 判断方向 | 重试建议 |
|---|---|---|
| 响应头带 Retry-After: 15 | 服务端已给出恢复时间 | 按 Retry-After 重试一次,同时检查后续是否继续超时 |
| 响应体含 out of memory / OOM / CUDA out of memory | 显存不足 | 首次遇到可短退避重试 1-2 次,随后进入熔断检查 |
| 响应体为空或标准负载均衡 503 | 无法判断具体原因 | 只重试一次,失败后熔断,不要把这类 503 当作长期可重试错误 |
建议在代码里写一个 should_retry 函数,把这些特征集中处理,不要散落在调用链路里。
给中转站配一个带退避和熔断的重试骨架
下面是一个通用重试骨架,用指数退避控制节奏,并在连续失败后打开熔断。代码中的参数只是示例,实际值需要结合目标服务的恢复速度调整。
import time
import random
RETRY_STATUS = [503]
MAX_RETRIES = 3
BASE_DELAY = 1.0
def should_retry(status, text):
if status not in RETRY_STATUS:
return False
if 'out of memory' in text.lower():
return True
return False
def send_to_target():
# 替换为实际转发逻辑
return (503, 'out of memory')
def relay():
last_resp = None
for attempt in range(MAX_RETRIES + 1):
last_resp = send_to_target()
if not should_retry(last_resp[0], last_resp[1]):
return last_resp
if attempt == MAX_RETRIES:
break
delay = BASE_DELAY * (2 ** attempt) + random.uniform(0, 0.5)
time.sleep(delay)
# 连续重试失败,打开熔断,冷却一段时间
circuit_breaker.open_for(30)
return last_resp这个骨架的关键在于 should_retry 只处理显存不足特征。MAX_RETRIES 建议从 2-3 次试起,BASE_DELAY 可以选 1-2 秒,熔断冷却时间可以先用 30 秒,再根据目标服务的实际恢复曲线调整。如果目标服务有排队机制,也可以把 sleep 换成先进入本地队列,避免转发线程被重试占满。
重试策略里的常见误区
- 所有 503 都重试:目标服务可能因过载或限流返回 503,重试只会加剧拥堵。
- 使用固定间隔重试:显存不足的恢复时间不固定,固定间隔要么太短导致空转,要么太长影响吞吐。
- 重试不设上限:无限重试会拖垮中转站和目标服务。
- 忽略熔断:重试失败后需要进入冷却,否则目标服务刚恢复又被打挂。
- 不读取响应体:仅仅按状态码判断,会把可恢复和不可恢复的 503 混在一起。
验证重试策略是否有效的检查清单
- 用 curl 直接向目标服务发送高并发请求,记录显存不足时返回的 503 响应体和响应头,确认特征真实存在。
- 在中转站开启 debug 日志,确认重试决策只命中显存不足的 503,而不是所有 503。
- 人为触发一次显存不足,观察本次请求是否按配置的退避时间重试,并在连续失败后触发熔断。
- 观察目标服务的显存监控,确认重试期间显存占用逐步回落,而不是继续爬升。
- 恢复后确认中转站能解除熔断并正常转发,说明策略没有卡死链路。
这组检查项用于复核策略是否落地,具体阈值需要根据目标服务的恢复指标调整。