接手一个Kong网关,上游是自建的AI推理服务,模型加载慢的时候接口响应能到十几秒,最近日志里全是upstream connect timeout。第一反应是把connect_timeout调大,但调完发现客户端抱怨请求整体超时更常见了。这类问题不能只看单次超时,要把connect_timeout和retry次数放到一起算。
先确认连接层到底卡在哪
在Kong中,上游请求的connect_timeout定义的是建立TCP连接的最长等待时间。如果上游长时间不响应,仅仅调大connect_timeout并不能缓解超时问题,反而会让每次重试占用更多时间。因此,当出现connect_timeout类错误时,首先应确认网络路径是否可达,比如使用telnet或nc检查上游端口,再判断是连接被拒绝还是丢包导致的挂起。
这个判断动作我一般放在改配置之前。目的是区分“端口根本连不上”和“连得上但响应慢”。如果是端口拒绝,调大超时没有意义,问题多半在服务没监听、防火墙拦截、负载均衡把流量发到了错误实例。用下面这组命令从Kong节点发起探测:
nc -zv 192.0.2.10 8443
# 或者
telnet 192.0.2.10 8443如果nc能立刻显示Connected to,说明连接层没问题,下一步才需要看read_timeout和write_timeout。如果命令一直挂起直到自身超时,再检查路由回程是否丢包、是否有安全组或iptables在丢弃SYN包。
把connect_timeout和retry当一组参数算
Kong的retry次数默认是5次,每次重试都会重新消耗一次connect_timeout。假设connect_timeout设为60000毫秒,那么最坏情况下单次请求可能耗时超过300秒,这对客户端来说几乎不可接受。建议将connect_timeout压缩到3000-5000毫秒,同时把retry减少到2-3次,并以客户端可容忍的总超时时间为上限来反推这两个参数。
这里的关键是“总等待时间”。Kong处理一次上游请求,如果connect一直失败,retry会让它反复尝试。总时长不是简单相加,还要考虑每次重试之间可能有一些内部处理,但粗略估算用connect_timeout × (1 + retries) 就行。比如你希望网关在10秒内给客户端返回错误,那么connect_timeout 3000、retries 2就是接近上限的一组配置。调整时可以在Admin API上直接改:
# 假设service名为ai-service,upstream名为ai-upstream
curl -s -X PATCH http://127.0.0.1:8001/services/ai-service \
-H 'Content-Type: application/json' \
-d '{"connect_timeout": 3000, "read_timeout": 60000, "write_timeout": 60000}'
curl -s -X PATCH http://127.0.0.1:8001/upstreams/ai-upstream \
-H 'Content-Type: application/json' \
-d '{"retries": 2}'这里的read_timeout和write_timeout要单独考虑。AI服务通常建立连接很快,但推理过程慢,所以read_timeout需要放宽到几十秒;connect_timeout不需要跟着放宽。改完以后,用同一组请求压力测试,盯着客户端实际等待时间,不要只看Kong日志里的单个错误。
客户端能等的总时间决定取舍
connect_timeout与retry次数之间存在乘积关系,总等待时间近似等于connect_timeout乘以(1+retry次数)。如果不希望客户等待太久,可以优先降低connect_timeout,换取更多retry机会。例如,connect_timeout设为2000毫秒、retry设为4次,总连接等待上限约10秒,与connect_timeout设为5000毫秒、retry设为1次的结果类似,但前者在面对瞬时拥塞时容错率更高。
这个取舍适合上游偶发连接拒绝或SYN重传的场景。比如后端某台机器负载高,短暂不接受新连接,但另外几台正常。用短connect_timeout加多retry,能在几秒内换一台继续试;反过来,如果connect_timeout很长,一次卡住就占满了整个时间预算。不过要注意,如果上游是“所有节点都在排队”,多retry只会让请求反复尝试已繁忙的节点,这时更应该配合健康检查,把不健康的target从池子里摘除。
重试会让请求被执行多次
上述调参能改善连接层超时,但重试并不是免费的。retry不仅会重试连接,还会在连接成功但读取超时的情况下触发重试,这可能导致同一个请求被执行多次。比如AI推理服务已经收到了请求,只是响应回传很慢,Kong判定read_timeout后换一个target重试,上游就多算了一次。对写操作或者会触发模型开始推理的API,应该考虑幂等性设计,否则在retry下可能产生重复数据或重复调用。我的建议是在服务端的推理任务里加请求ID去重,或者在Kong侧只在幂等方法(GET、HEAD)上开启重试。
判断是否遇到这类情况,可以观察上游应用日志里相同的request_id或body出现多次;Kong的错误日志也会记录“upstream read timeout”和对应的retry次数。如果确认是读超时引起的重试,不要只调connect_timeout,应该先检查业务响应时间分布,再决定是否调大read_timeout。
最后用健康检查兜底
重试和超时调整都不能替代健康检查。Kong的上游target可以配置主动或被动健康检查,当后端连续失败达到阈值后,自动把target标记为unhealthy,减少被选中概率。这样在超时重试配置收紧的情况下,流量也不会总打向故障节点。健康检查的配置同样通过Admin API或deck维护。
# 查看upstream下target的健康状态
curl -s http://127.0.0.1:8001/upstreams/ai-upstream/health | jq改完connect_timeout和retry之后,我会先观察15到30分钟的错误日志,看三类数据:connect timeout是否减少、read timeout是否占比变高、客户端整体超时率是否下降。任何调整都建议先在预发环境跑一轮,确认没有把正常慢请求误杀。配置回滚也不复杂,把service和upstream的数据改回原值再刷一次配置接口即可。