重试风暴下中转站如何通过滑动窗口限流保护上游模型端点

文章导读
当一个模型端点开始出现超时或错误,客户端SDK通常会按照退避策略自动重试。退避参数没调好,或者多个客户端同时切入重试,就会形成重试风暴。这时候从中转站看,请求量会突然成倍上来,而且很多是重复的。如果只按IP或用户简单限流,不仅容易误伤,也拦不住那些来自不同实例、不同用户的重复请求。所以需要先识别重试信号,再把限流计数器架在它后面。
📋 目录
  1. A 先识别重试信号,限流计数器要放在判断之后
  2. B 滑动窗口的桶实现和粒度选择
  3. C 多副本下把上游模型端点作为唯一限制目标
  4. D 上线后看429与上游错误率,小步调整阈值
A A

当一个模型端点开始出现超时或错误,客户端SDK通常会按照退避策略自动重试。退避参数没调好,或者多个客户端同时切入重试,就会形成重试风暴。这时候从中转站看,请求量会突然成倍上来,而且很多是重复的。如果只按IP或用户简单限流,不仅容易误伤,也拦不住那些来自不同实例、不同用户的重复请求。所以需要先识别重试信号,再把限流计数器架在它后面。

先识别重试信号,限流计数器要放在判断之后

在中转站的入口处,首先需要识别哪些请求是由上游异常引发的重试。常见做法是检查请求头中的重试标识,比如客户端在重试时带上X-Retry-Count,或者检查同一请求ID是否在短时间内多次出现。如果仅按源IP或用户ID计数,会漏掉不同的重试来源。这个判断动作要放在限流计数器之前,否则重试流量会被误判为正常的新请求,限流策略就会失效。

这里的关键是“判断动作要放在限流计数器之前”。如果先把请求计数加一,再去判断是不是重试,计数已经错了。实际处理时,可以在中间件里先读请求头,如果带有重试标识,就单独走一条计数路径。比如有两个计数器:一个统计正常请求,一个统计重试请求,重试请求的阈值可以设得更严。甚至可以对重试请求使用与正常请求不同的“成本”权重,让它更快触发限流。

还需要注意,有些客户端重试时不带标准头,而是通过请求体里的时间戳来标记。这种情况下,能识别多少取决于你和客户端的约定。如果实在拿不到标识,可以考虑用请求ID在短时间内去重,但要注意去重粒度不能太粗,否则会把同一对话内的多个正常请求误判为重试。

滑动窗口的桶实现和粒度选择

滑动窗口实现时,通常把固定窗口切成多个小桶,每个桶记录一个子时间段的请求数。窗口每滑动一个时间单位,就丢弃最旧的桶并新增一个空桶。判断是否限流时,需要累加当前窗口内的所有桶的计数,与阈值比较。这里的关键是桶之间的时间同步,比如用毫秒时间戳来定位桶索引,避免因并发导致桶计数错乱。当累计值达到上限,就直接拒绝该请求并返回429响应。

重试风暴下中转站如何通过滑动窗口限流保护上游模型端点

这种桶实现适合在单机内存里做,把窗口均分而不是每时每刻都精确滑动。桶粒度一般取100ms到1秒。粒度越细越平滑,但内存占用和计算次数也会增加。如果觉得固定窗口的临界突变问题无法接受,可以先从1秒切成10个100ms的桶看效果。

如果是多副本部署,内存桶就没法共享了。可以用Redis的ZSET来做滑动窗口,每个请求用当前毫秒时间戳作为score,请求ID作为member。下面这个Lua脚本在Redis端执行,可以保证判断和写入是原子的。

-- KEYS[1]: 限流key,比如 upstream:model-endpoint
-- ARGV[1]: 当前毫秒时间戳
-- ARGV[2]: 窗口长度,单位毫秒
-- ARGV[3]: 阈值
-- ARGV[4]: 请求唯一标识(建议用uuid)
redis.call('ZREMRANGEBYSCORE', KEYS[1], 0, ARGV[1] - ARGV[2])
local count = redis.call('ZCARD', KEYS[1])
if count >= tonumber(ARGV[3]) then
    return 0
end
redis.call('ZADD', KEYS[1], ARGV[1], ARGV[4])
redis.call('PEXPIRE', KEYS[1], ARGV[2])
return 1

调用这个脚本时,返回值1代表放行,0代表拒绝。脚本执行位置在Redis服务端,所以多个中转站实例不会出现各自的局部计数。需要留意的是,member必须唯一,如果用相同的请求ID,第二次请求会覆盖第一次的score,导致计数减少。另外,窗口长度不要设置太长,否则Redis里的ZSET会堆积大量过期前的时间戳,建议同时设置PEXPIRE清理。

多副本下把上游模型端点作为唯一限制目标

一个容易踩的坑是只对中转站的内部端口限流,而没有把上游模型的端点作为唯一限制目标。如果客户端直连了部分不经过中转站的调用,限流就会形同虚设。另外,如果上游端点有多个副本,限流器需要共享状态,否则每个实例只看到局部流量,总请求量会超过阈值。共享状态可以用分布式缓存,但要注意网络延迟。在没有共享状态的情况下,可以在上游网关层再叠一层粗粒度限流,作为兜底。

这里“把上游模型的端点作为唯一限制目标”的意思是,限流key应该设计成上游端点的URL,而不是中转站自己内部的来源IP或端口。比如上游端点是 https://api.model.example/completions ,那么限流key就用它来拼接。这样即使客户端通过中转站的不同域名进来,只要打的是同一个上游端点,计数都会被累加。

重试风暴下中转站如何通过滑动窗口限流保护上游模型端点

共享状态还有一个容易忽略的点:如果上游模型端点本身有多个副本(比如IP不同或端口不同),限流器仍然只能用一个逻辑端点统计,否则每个副本的流量独立计数,总量依然会超过上限。Redis的方式可以解决这个,但要注意网络延迟对限流判断的影响。如果Redis不可用,建议在上游网关层再加一道粗粒度限流,兜住突发。

上线后看429与上游错误率,小步调整阈值

限流器上线后,要同时观察两组数字:中转站返回429的比例,以及上游模型端点的错误率和响应时间。如果429在上升,同时上游错误率明显下降,说明限流起了作用。如果429已经很高,但上游仍然超时,问题很可能在于阈值设得偏高,或者限流器统计的是入口请求,而重试请求被排除在外。这时候可以下调阈值,但每次调整幅度要小,观察几分钟再继续。下面这条命令能快速看出哪些路径最频繁触发429:

tail -n 1000 /var/log/nginx/access.log | grep ' 429 ' | awk '{print $1, $7}' | sort | uniq -c | sort -rn

这条命令在Linux下执行,统计最近1000条访问日志里返回429的客户端IP和请求路径。$1是IP,$7是路径,具体字段位置需要根据你的nginx日志格式调整。执行后如果看到限流都集中在某个上游模型端点的路径上,说明策略生效;如果路径很分散,可能是阈值太低,误伤了正常流量。另外,调整阈值后要再看一次同样的命令,确认429来源确实收敛到目标端点。

滑动窗口限流不是一劳永逸的保护神。它必须和重试识别、共享状态以及持续观测配合,才能真正在上游模型端点前面筑起一道可调的闸门。实践中先保证“判断重试”这一步不出错,再根据监控反馈小步调整阈值,会比一开始追求零超限更可靠。