ETIMEDOUT(errno 110)出现在中转站日志中时,最常见的误判是把问题统一归到 DNS 解析慢,或者反过来全部归到 keepalive 长连接复用。实际上需要先定位超时发生在连接建立阶段还是已建立连接的数据读写阶段:两个阶段排查路径不同,混在一起只会反复修改配置而无法收敛。下面按日志定位、DNS 侧检查、keepalive 侧检查、验证信号四个层次给出可操作的步骤。
先定位超时发生在哪个阶段
打开中转站日志,观察错误伴随的系统调用。如果是 connect 阶段报 ETIMEDOUT,说明对端没有在预期时间内完成 TCP 握手回应,此时与长连接复用无关,优先检查网络路径和解析耗时。如果是 read/write 阶段报 ETIMEDOUT,说明连接已经建立,但服务端在超时时间内没有数据返回,这时才需要检查 keepalive 复用是否碰上了服务端提前断开。
验证方式:在日志上下文里找到具体调用点。常见框架如 Nginx、Go 的 net/http 会分别记录 connect 阶段和写上游阶段错误;若日志只有统一错误码,可以临时调高日志级别,或用抓包工具对比连接时间线与错误发生时间。
DNS 解析耗时的检查与处理
适用场景:日志显示连接建立前存在一次完整解析,且解析耗时接近连接超时阈值。例如应用每新建连接都调用 getaddrinfo,而上游 DNS 响应时间在几十到几百毫秒,叠加 TCP 握手后恰好超过配置的超时时间。
操作动作:
- 先做一次旁路解析:
dig +time=1 +tries=1 @目标DNS 域名,观察响应耗时是否稳定在一秒内。 - 检查 /etc/resolv.conf 是否配置了多个 nameserver,以及是否启用了 ndots 或 search 域导致每次查询产生额外轮询。
- 查看应用缓存机制:如果代码每连接一次解析,考虑加入 TTL 缓存层,或在启动时预解析一次。
验证方式:修改后观察新增连接的建立耗时,或在中转站日志中对比解析耗时字段。需要结合环境确认解析只发生在连接建立阶段,若连接池复用后不再重复解析,那 DNS 侧问题会自然消失。风险边界:DNS TTL 缓存会延迟域名解析结果更新,域名变更频繁的业务不要把 TTL 调到过大。
keepalive 长连接复用冲突的检查与处理
适用场景:错误集中在空闲一段时间后的首次请求上,例如中转站与上游保持几十秒空闲后,下一次请求正好打在一个已被上游关闭的连接上。此时直接抓包会看到一方发送 FIN 或 RST,但客户端由于没有在空闲期间检查 socket 状态,继续复用该连接直到写入数据后才收到错误。
操作动作:
- 检查中转站保存长连接的 keepalive_timeout 或 idle_conn_ttl(按所用软件调整参数名),确认它小于上游服务端的空闲断开阈值,避免连接被上游先关闭。
- 开启 TCP keepalive 探测,让内核在空闲时发送 ACK 探测包。Linux 下调整
net.ipv4.tcp_keepalive_time、tcp_keepalive_intvl、tcp_keepalive_probes三个参数。 - 对于已知会被上游提前断开的连接,可以在连接池中加心跳请求,或设置最大空闲时长主动重建连接。
验证信号:修改 keepalive 参数后,观察原空闲区间内重新发起请求是否不再报 ETIMEDOUT。用抓包确认 FIN/RST 是否出现在请求之前,若请求发出前对端已经关闭连接,说明空闲断开逻辑仍需调整。风险边界:开启 TCP keepalive 会增加少量无效流量;设置过大的 idle 上限会占用更多文件描述符,需要根据连接总量平衡。
分支排查清单
以下清单用于把上述两类原因进一步分解,避免把所有情况归为同一个原因:
- 连接建立阶段超时:检查目标 IP 的当前连通性,排除中间防火墙或负载均衡器的会话表满导致 SYN 被丢弃;若中间有多个网络跳数,可分段 ping 判断丢包位置。
- 已建立连接上的 IO 超时:查看上游服务的慢日志与队列深度,确认是否存在业务处理超时;若上游空闲断开由网关策略控制,需要先调整上游再调整中转站。
- DNS 与连接同时存在异常:先用绕过 DNS 的直连 IP 测试同一请求,若直连 IP 正常,说明解析链路上有延迟;若直连 IP 同样超时,则问题在网络路径或对端服务。
- 日志重复出现但吞吐正常:记录错误发生时间点前后的连接池状态,看是否有批量连接同时失效的迹象,此类情况往往由上游重启或负载均衡摘除后端引起。
最终验证信号
确认问题收敛,建议至少看三个信号:相同流量模式下 ETIMEDOUT 不再出现在日志中;抓包中不再看到请求前对端已发送 FIN/RST;连接池内空闲连接的重用失败率回到正常范围。没有百分比或固定数值,因为不同环境的 TCP 参数和网络延迟差异很大,需要结合环境确认。