现象与方向判断
AI 网关日志同时出现 upstream request timeout 与连接池耗尽记录,多数情况是链路中两个问题叠加成循环:上游响应变慢,导致网关为等待响应占用的连接无法及时释放,连接池在低效等待中被填满;连接池耗尽后,新请求等待可用连接,又进一步挤占 worker 资源。先判断哪一个日志是源头,再决定先调整哪一侧。
先看上游:是响应慢还是连接不足
检查点一:上游服务自身状态
在调用链路上追一下上游服务的响应时间分布。登录上游服务所在主机,看 CPU、内存、GC 停顿时间或数据库连接池使用率。AI 网关后的服务经常是模型推理服务或带缓存的中转服务,这类服务若是 Python 或 Java 进程,容易在推理高峰期出现线程阻塞。若上游 P99 响应时间已超过网关配置的 proxy_read_timeout,upstream request timeout 就是“上游慢”造成的,与网关连接池配置无关。
检查点二:区分连接池耗尽与慢请求的时序
打开网关的 access log,把同一批 upstream 响应时间慢的请求与连接池耗尽日志的时间戳对齐。若连接池耗尽发生在上游开始变慢之后,且耗尽请求对应的上游响应时间也很长,说明源头在上游。若连接池耗尽发生在上游响应仍很快的时刻,说明是网关到上游的连接配置偏低或 worker 数不足。
调整网关连接池配置的依据
连接数计算的最小依据
网关到上游的连接数并不是越大越好。以 Nginx 为例,keepalive 指令设置的是每个 worker 空闲 keepalive 连接数上限,不是总并发上限。若上游处理能力不变,调大 keepalive 能减少 TCP 新建次数,但不能让响应变快。需要结合上游服务最大并发承载能力来确定上限,超上限的调大只会让上游更快超载。
实际接入动作
先确认网关 worker 数,再确认 upstream 与网关之间的 keepalive 配置。Nginx 场景下,keepalive 值建议先按 worker 数乘 2 到 4 的范围估算,通过压力验证看连接池耗尽日志是否消失。Kong 或 APISIX 的配置项名称不同,但思路一致:找到控制“每个 worker 的免建连空闲连接数”的配置,而不是直接改大所有超时时间。
两者并存时的处理顺序
先处理上游慢,再处理连接池。顺序颠倒时,调大连接池只会让更多请求涌入已经变慢的上游,超时和耗尽可能同时恶化。处理上游慢问题,需要看是推理时间长了,还是上游依赖的外部服务(如另一层模型网关、数据库)出现延迟。若上游是单进程模型,考虑加实例数量;若是线程阻塞,先定位阻塞点。
处理完上游后,再观察连接池耗尽日志是否自然消失。若仍然出现,则按上游响应已正常的情况调整连接池参数。注意保留稳定的并发度测试方法,比如用固定的请求速率对比调整前后的日志频率,而不是凭感觉判断。
验证信号与止损边界
验证信号有三条:第一条,upstream response time 的平均值与 P99 是否回落到超时阈值以下;第二条,连接池耗尽日志出现的频率是否从连续出现降为偶发或消失;第三条,网关上的 502/504 状态码数量是否下降。三条信号中,第一条是必要条件,后两条是结果性指标。
止损边界需要明确:临时调大 proxy_read_timeout 或 connect_timeout 会让客户端等待更久,但上游本身如果没能力恢复,只是把失败从快速失败变成慢失败。连接池耗尽日志若在调整后继续出现,需要回滚配置,避免用超时掩盖上游故障。