多租户AI中转站最常见的问题是:多个团队共用一套网关,但重试策略经常互相干扰。如果重试次数只按全局或IP维度统计,一个团队的上游限流会拖垮所有租户。所以,重试配额要落到API Key维度,每个业务应用有自己的计数和冷却状态。
适合做这种隔离的场景包括:网关同时对接多个上游AI模型服务、同一租户内有多个独立业务应用、需要分别审计各应用的重试行为。如果只是单用户内部代理,不一定要做得这么重。
按 API Key 独立计算配额
先看一条边界条件:
在多租户AI中转站中,重试配额必须按API Key独立计算,而不是按用户或IP。如果两个应用共用同一个API Key,则它们的重试次数会互相消耗,导致一个应用触发冷却后拖累另一个应用。建议在创建租户时强制为每个业务应用分配独立的API Key,并在文档中明确说明:同一API Key下的所有请求共享可重试次数和冷却状态。检查方法可调用配额查询接口,观察两个并发请求是否共享计数。常见坑是租户内部私下复用Key,导致隔离失效。
这里需要再补一步操作判断:在创建租户时,除了分配独立的API Key,还建议在网关里把API Key与租户ID绑定,并在配置中心记录“允许的最大重试次数”。例如传给上游的量超限时,网关只对该Key后面的请求生效。你可以用类似下面的配置片段来定义每个Key的配额:
retry_quota:
api_key: "sk-tenant-a-app-1"
max_retries: 3
cooldown_seconds: 60
这个片段里 max_retries 是每次冷却周期内允许的重试总次数,cooldown_seconds 是冷却时间。执行位置在网关配置加载时。验证方式:用两个不同的Key同时打满重试次数,观察第二个Key是否还能正常请求。如果发现两个Key共享了计数,说明配额存储没落到Key维度,检查一下计数key是不是用了IP或用户ID。
冷却时间的粒度与 Retry-After
接着看冷却时间怎么设:
冷却时间建议以秒为单位设置,并且最小粒度取决于上游提供商的限制粒度。例如,若上游返回的限流窗口是60秒,则冷却时间也应按60秒的整数倍设置,避免出现小于窗口周期的冷却导致请求提前放行。操作上,可在错误响应头中读取Retry-After字段,并与本地配额记录中的冷却时间取最大值。如果上游未提供Retry-After,则保守地使用默认冷却值(如30秒)。注意:冷却时间应记录到API Key维度,而非IP或设备维度。
实际实现时,建议把“从上游读到的Retry-After”和“本地配置的默认冷却时间”都记录到API Key维度。下面是一段在网关错误处理逻辑里计算冷却时间的伪代码:
retry_after = resp.headers.get("Retry-After")
if retry_after:
cooldown = max(int(retry_after), local_cooldown)
else:
cooldown = local_cooldown # 默认30秒
key_obj.set_cooldown(api_key, cooldown)
代码里 local_cooldown 来自租户配置,retry_after 要优先取上游返回值。注意执行位置在网关拦截429/503之后。验证时,模拟上游返回一个较长的Retry-After,确认冷却时间没有取错。如果冷却时间小于上游窗口,请求会提前放行并再次触发限流,这个问题会在日志里看到频繁的重试事件。
可重试次数的原子扣减与存储
再解决并发超卖问题:
可重试次数应使用支持原子扣减的存储,如Redis的DECR操作,避免并发请求下超卖重试配额。每次请求进入重试逻辑前,先检查剩余次数是否大于0,再执行扣减,两者必须在一个事务中完成。常见错误是先扣减再判断,导致次数为负却仍然放行。操作动作:每次重试前调用DECR并检查返回值,若返回值小于0则直接进入冷却流程。检查方法:在高并发压测下确认计数不会降到负数。风险边界是若存储节点宕机,需保证配额不会丢失,可定期持久化快照。
实现时,计数key可以设计为 retry:count:{api_key},TTL设为冷却时间,这样冷却结束key自然过期,重置逻辑会更简单。补充一个实际可用的Redis命令序列:用Lua脚本把“检查次数、扣减、判断”合并成一个原子操作,避免并发请求下多个请求同时通过检查。
local remaining = redis.call('DECR', KEYS[1])
if remaining < 0 then
redis.call('EXPIRE', KEYS[1], ARGV[1])
return -1
end
return remaining
执行位置在网关进入重试逻辑之前。这个脚本里的KEYS[1]就是 retry:count:{api_key},ARGV[1]是冷却时间。如果返回-1,说明配额已经耗尽,直接转冷却流程。验证方式:用并发工具同时发送多个请求,观察计数不会降到-1以下。风险边界是Redis节点宕机,所以需要开启AOF持久化,或者在启动时从快照恢复配额。
容易忽略的检查点
这些动作做完后,有几个地方容易漏掉。第一,重试配额只应在收到上游明确限流或超时错误时消耗,不能对业务侧的所有请求都计数。判断条件:响应状态码为429、502、503,或超时且未收到结果。网关层拦截这些错误码,进入重试计数逻辑;对4xx其他错误(如400)不消耗重试次数。
第二,冷却时间结束后,可重试次数应恢复为初始值,而不是逐步补充。操作动作:在冷却时间到期时,将计数重置为预设上限。注意只重置次数而忘记清除冷却标记,会导致请求仍被拒绝。检查方法:在冷却结束后的首次请求中,确认响应码正常且计数从初始值开始扣减。
第三,如果重试配额频繁耗尽,应该先检查上游限流阈值是否合理,而不是盲目调大配额。日志中要标记每次重试事件,观察实际触发率。另外,固定窗口在窗口切换时会出现短暂空窗期,建议结合上游窗口大小设定计数重置周期,给切换留出缓冲。如果租户希望动态调整配额,可以通过配置中心热更新,但需要确保正在进行的重试流程读到的不是旧值。
最后,当API Key的可重试次数归零时,应直接返回上游最新错误码,并在响应头附加X-Retry-Limit: exhausted和Retry-After。这样做是为了让客户端知道什么时候可以恢复请求,而不是收到一个模糊的限流错误。
以上是按API Key维度隔离重试配额时比较完整的处理链路。实际落地时,还要结合你自己的网关实现和上游限制粒度来调整冷却时间。