接到一个任务:中转站同时接入 DeepSeek 和其他模型供应商,重试策略要么不生效,要么把上游打到限流。我先不急着写配置模板,而是先梳理现象。
先确认现象
在配置差异重试策略前,先确认中转站对上游供应商的响应状态码是否做了统一归一化。不同供应商对限流、超时、服务不可用的表达方式并不一致,有的返回429,有的返回503,甚至可能把超时包装成200但响应体里带error标记。建议先在中转站日志里按供应商维度统计一段时间内的错误码分布,确认哪些状态码真正代表了可重试的瞬时故障。对于无法明确区分的错误,宁可先不重试,也不要盲目对所有异常进行三次以上的重试,否则可能放大上游压力并拖慢整体响应。
这一步做的是“错误码分类”。实际处理时可以先写个临时脚本,把一周内的响应状态码和响应体里的error字段一起拉出来,按供应商分组。重点看两类:一类是明确可重试的,比如429、503、连接超时;另一类是模棱两可的,比如200但带error,或者上游返回的网关错误。如果中转站本身做了状态码归一化,那还需要确认归一化是否丢失了供应商原始错误信息,否则后面按状态码匹配重试条件时会对不上。
容易误判的地方
一个常见的坑是将重试策略直接绑定在HTTP状态码上,而不是状态码与响应体错误码的组合。比如某些供应商在模型负载高时会返回200但响应体里包含error字段,此时如果仅按状态码判断,就会漏掉重试机会。另一个坑是忽略重试幂等性校验,中转站在转发请求时若没有为同一用户请求生成唯一请求ID,则重试可能导致上游重复计费或重复生成内容。建议在模板中强制配置请求ID透传,并在重试前校验该ID是否已被处理过。
这里需要给重试判断加一层“错误语义”解析。比如把上游响应体解析出标准错误码,再与状态码组合成重试触发键。同时,在配置里加一个强制字段:request_id透传。如果上游已处理过相同request_id,直接返回缓存结果,避免重复扣费。这两个细节通常在压测时才会暴露,但线上出问题后就晚了。
建议的处理顺序
按以下顺序落地配置,每步都确认后再继续:
- 先建错误码映射表,区分可重试与不可重试。
- 再按供应商设置重试参数,包括初始间隔、倍数、最大次数。
- 然后加全局重试速率限制,防止多供应商同时重试造成突发流量。
- 最后配置请求ID透传和幂等校验,再切流量验证。
这个顺序能避免先调参数后改映射导致的返工。建议每个步骤都单独发布,不要一次性全量切过去。
配置示例
模板中可以按供应商优先级设置不同的重试系数。例如,对DeepSeek这类响应波动较大的服务,将初始重试间隔设为500毫秒,倍数设为2,最大重试次数设为3;而对响应稳定的服务,初始间隔可以放宽到1秒,倍数保持1.5,最大重试次数设为2。同时,在计数器维度上区分连接超时和读取超时,连接超时更适合快速重试,读取超时则要结合上游已处理时长判断。重试时建议在请求头中附加X-Retry-Count标识,方便在日志中追踪每一次实际重试是否生效。
下面是一个可参考的YAML模板,把上述参数落到配置中。注意“N”是全局速率上限,需要按中转站吞吐量另行确定。
retry_policy:
global:
max_retry_rate_per_second: N
total_retry_timeout_ms: 2000
providers:
- name: deepseek
retry_count: 3
initial_interval_ms: 500
multiplier: 2
retry_on: ['429', '503', 'error_field']
- name: stable_llm
retry_count: 2
initial_interval_ms: 1000
multiplier: 1.5
retry_on: ['429', '503']
关键参数说明:retry_on 是触发重试的条件,这里同时匹配状态码和响应体错误码;total_retry_timeout_ms 是单次请求累计重试耗时上限。执行位置在中转站的转发层,配置加载后需要检查日志确认重试计数和间隔是否符合预期。如果失败,优先看是否所有重试都在同一秒触发,是则退避算法未生效。
在转发代码中,附加重试计数和请求ID的写法如下:
# 中转站转发请求前
def forward_with_retry(request, retry_count):
headers = request.headers.copy()
if retry_count > 0:
headers['X-Retry-Count'] = str(retry_count)
request_id = request.headers.get('X-Request-ID') or uuid4()
if cache.exists(request_id):
return cache.get(request_id)
response = send_to_upstream(request, headers)
# 根据响应判断是否需要重试...
这段代码建议放在网关中间件里,关键是:请求ID必须从入口透传,重试计数则每次递增。验证方式是查看上游日志,观察相同request_id的到达次数是否等于重试次数+1。如果失败,检查请求头是否被网关剥离。
验证方法
配置完成后,最好主动注入故障来验证。比如在中转站加一个debug开关,对指定供应商的请求强制返回某个测试错误码,观察重试次数和间隔。也可以通过日志或链路追踪查看每次重试的X-Retry-Count值。如果某个供应商的重试请求集中在同一秒内,说明退避算法的间隔设置没有生效,需要检查配置加载是否更新。
另一种方式是核对上游供应商的访问日志,统计同一请求ID的到达次数。如果发现重复提交,就要看幂等校验是否被绕过。通常这个验证放在灰度环境先跑,确认后再切生产。
回滚和风险
重试策略有边界条件,不能无限重试。建议设置全局重试速率上限,用令牌桶控制整体突发流量。同时,单次用户请求的总重试时间不宜超过上游端到端超时阈值,建议累计超过2秒就立即终止。对于流式输出,客户端已经开始接收内容时不要重试,直接透传错误信息,否则会出现重复段落或断流错位。
如果配置上线后出现异常,回滚方式有两种:一是将重试开关关掉,只保留透传;二是回滚到上一版本配置。建议保留配置版本管理,并记录每次调整前后的日志样本,便于快速定位。