密钥轮换本来是为了缩小密钥暴露面,但轮换完成之后马上出现一批429限流,这种情况在很多网关和API服务上都出现过。问题不一定出在新增的请求量上,更多时候是限流器对新密钥的处理方式和预期不一致。可以先从限流器的统计维度入手,别急着改大参数。
先确认限流是跟着密钥走的还是跟着客户端走的
密钥轮换后出现429限流,首先需要确认限流器是按密钥维度还是按全局维度统计。很多网关或API服务在实现桶令牌算法时,会为每个密钥创建独立的令牌桶,轮换后新密钥对应的是一个初始为空的桶。如果旧密钥仍携带在请求中,但网关已经识别为新密钥,那么新密钥的桶在没有余量的情况下,很容易在短时间内被打满,表现为429。如果旧密钥还存在缓存或重试逻辑,则可能出现新旧密钥交替使用,导致限流策略混乱。登录限流控制台或查看日志,确认429响应中返回的限流标识是否与新密钥的哈希或客户端ID一致,这是定位问题的第一步。
这一步的关键在于区分“密钥维度”和“客户端维度”。如果限流器按客户端维度统计,那么不管怎么换密钥,桶里的余量不会变,429基本和轮换无关,可能是客户端发起了更高的并发,或者上游负载均衡策略发生了变化。如果确认是密钥维度,那么接下来要做的事才算真正进入参数调优阶段。
新密钥的桶是空的,调整容量还是填充速率
当确认是密钥轮换导致令牌桶初始为空时,可以暂时调大桶容量参数,让新密钥在切换初期有足够的突发空间。桶容量对应允许的突发请求数,填充速率决定长期平均速率。建议先保持填充速率不变,只增大容量,例如将容量从默认值改为原先的1.5倍或2倍,观察一段时间。如果突发过后仍持续出现429,再逐步提高填充速率。调参后需要热加载或重启使得配置生效,注意在低峰期操作,并准备好回滚方案。若限流器支持预热模式,也可以启用冷启动补偿,让新密钥的桶按比例随时间逐渐填满。
容量和填充速率代表的含义完全不同。容量管的是突发窗口,填充速率管的是稳定流量的均值速度。对于刚轮换完的密钥,流量如果在短时间内涌进来,容量太小会直接把请求挡在门外。先把容量提上来,给新密钥一个缓冲期,比直接提高填充速率安全得多。以下是一个常见的网关限流配置片段,注意burst对应令牌桶容量,rate对应填充速率:
rate_limit:
strategy: key_based
key_name: api_key_hash
capacity: 200 # 桶容量,允许的突发请求数
refill_rate: 50 # 每秒填充速率,长期平均值
refill_interval: 1s # 填充周期修改capacity之后,需要通过限流控制台或测试接口确认新值已经生效。常见的问题是配置下发到了网关,但网关在内存里保留了旧配置实例,热加载没真正触发。这种情况下压测数据再漂亮,线上请求走的还是旧参数。可以观察限流日志中记录的容量和填充速率,确认它们和目标值一致,再做下一步判断。
查日志时还要看三个地方
如果只调了容量参数,429仍然出现,那就要回头检查密钥切换是不是彻底完成了。检查限流日志中429触发时使用的具体键值,是密钥的散列值还是客户端ID。同时检查客户端实际发送的密钥是否已经全部切换为新密钥,有没有旧密钥缓存在环境变量、配置文件或连接池中。若发现部分请求仍带旧密钥,说明轮换不彻底,需要先刷新这些缓存,再调整限流参数。还要确认限流器的时间窗口是否与令牌桶的刷新周期对齐,例如每秒钟填充一次还是每分钟填充一次,时间窗口不对齐会造成误判,让令牌桶在边界时刻突然失效。查看监控面板中请求到达时间与429返回时间的对应关系,能帮助区分是瞬时突发还是持续超限。
检查时间窗口对齐时,需要注意有些限流框架的刷新周期不是等间距的。比如某些Redis实现里,填充进度是按照last_refill_time计算的,如果周期配置成60秒,但时钟偏移过大,就会出现在每分钟前几秒内桶容量突然掉到接近零的情况。可以先用下面这个Redis Lua脚本检查当前桶的容量变化,脚本的目标是查看指定密钥的当前令牌数和最后刷新时间:
local key = KEYS[1]
local capacity = tonumber(ARGV[1])
local refill_rate = tonumber(ARGV[2])
local now = tonumber(ARGV[3])
local bucket = redis.call('HMGET', key, 'tokens', 'last_refill')
local tokens = tonumber(bucket[1])
local last_refill = tonumber(bucket[2])
if tokens == nil then
tokens = capacity
last_refill = now
end
local elapsed = (now - last_refill) / 1000
local refill = math.floor(elapsed * refill_rate)
if refill > 0 then
tokens = math.min(capacity, tokens + refill)
redis.call('HSET', key, 'tokens', tokens, 'last_refill', now)
end
return { tokens, last_refill }这个脚本需要在Redis里执行,参数里的KEYS[1]是限流键名,capacity和refill_rate要和网关配置保持一致。脚本会返回当前令牌数和最后刷新时间,如果发现tokens在每次请求之间都没有按预期增长,就说明填充链路有问题。比如脚本里的时间单位是毫秒,而网关配置的时间单位是秒,那么计算出的refill值就会偏小,表现在日志里就是明明没有多少请求,429还是不停出现。
调参时有两条边界要守住
调整桶令牌参数时,要注意不要过度提高限额,否则限流保护会形同虚设。如果填充速率成倍增加,一旦密钥泄露,攻击者可以消耗更多资源。容量参数主要影响突发流量,填充速率影响稳态吞吐,两者需要平衡。对于像双11或秒杀这类高并发场景,宁可先用保守参数,通过限流降级保护后端,也不要盲目放宽。另外,如果限流器是分布式部署,每个节点各自维护本地令牌桶,那么调整参数需要在所有节点上同步,否则会出现某些节点限流、某些节点不限流的情况。更改参数后应观察一段时间,确认后端服务的负载指标没有显著上升,再继续推进。
分布式节点同步这个问题,容易被配置管理上的“假同步”掩盖。比如有十个节点,限流参数推到了配置中心,但其中两个节点没有重新加载配置,流量一上来,那两个节点还在用很小的容量拒绝请求。观察429分布时,如果发现返回429的节点IP相对固定,多半是配置没有推全。先用以下命令确认各节点加载的配置版本,再继续调整:
# 在负载均衡后方的每个网关节点上执行
curl -s http://127.0.0.1:8080/admin/rate_limit/config | grep -E 'capacity|refill_rate|version'注意,这个接口不是标准接口,前缀和路径要根据网关实现调整。这里要看的是每个节点返回的version是否一致,如果版本号参差不齐,就说明部分节点没有拉到最新配置。失败时优先检查各节点到配置中心的网络连通性,以及配置监听进程,而不是反复调大容量掩盖问题。
如果不想动参数,可以改渐进式轮换
调参不是处理这类429的唯一办法。另一种做法是让新旧密钥在一段时间内共存,待流量平稳后再把旧密钥下线。将密钥轮换改为渐进式:先生成新密钥,在旧密钥的有效期内同时支持两个密钥,限流器按客户端维度统一统计,待流量平稳后再关闭旧密钥。这样做不会触发令牌桶重建,也能保持限流策略连续。具体实施时,需要确保网关能同时识别新旧密钥,并且令牌桶的键值对应到客户端ID,而不是密钥本身。
这个方案适合那些可以同时维护两套密钥的服务,尤其是原本就允许每个客户端持有多个有效密钥的场景。它的问题在于,如果网关的限流键写死了请求头里的密钥字段,即使旧密钥也能通过认证,限流器依然会把新旧密钥当成两个不同的桶。这种情况下需要把限流键改成客户端ID字段:
limit_req_zone $client_id zone=api_limit:10m rate=50r/s;
server {
location /api/ {
limit_req zone=api_limit burst=100 nodelay;
proxy_pass http://backend;
}
}这里的关键动作是把$client_id作为限流键,而不是$api_key。修改之后,不论请求带的是旧密钥还是新密钥,只要客户端ID相同,就共享同一个桶。执行前需要确认网关能解析出稳定的客户端ID;如果客户端ID在请求头里缺失,可以把限流键改成$client_id$api_version,按版本维度隔离,但这样同样会带来切换瞬间的桶重建问题。调整完毕之后,用旧密钥发一批请求,再用新密钥发一批请求,观察429返回的键值是否归属于同一个客户端维度。
有个小问题值得提一下:渐进式轮换阶段,旧密钥的日志里可能会继续出现认证告警,这不是故障,而是轮换周期内的正常现象。只要限流日志里的键值保持在同一客户端维度,旧密钥的请求就不会单独触发桶的重建。等流量平稳了,再彻底关闭旧密钥,就不会再出现一波新的429。
整体来看,密钥轮换后的429限流,90%以上是限流维度识别和桶初始化的问题。先确认限流键的取值对象,再决定调容量还是调填充速率,最后检查配置是否同步到了所有节点。整个过程中,日志里429对应的键值、时间窗口、节点IP这三项数据是最重要的判断依据,参数调整只是其中一环。