Node.js对接中转站遇到socket hang up时排查代理层超时与背压控制

文章导读
遇到 Node.js 请求中转站报 socket hang up,建议先不要急着调超时,先确认连接是在哪一刻被关闭的。这个错误通常意味着对端在请求完成前关闭了 TCP 连接,可能发生在代理层,也可能由 Node.js 侧主动断开引起。以下排查路径按“现象、检查点、处理动作、验证信号”展开,需要结合你的实际架构调整。
📋 目录
  1. 壹 先分清错误发生在哪一段
  2. 贰 代理层超时与连接复用
  3. 叁 背压控制与并发限流
  4. 肆 分支排查清单
A A

遇到 Node.js 请求中转站报 socket hang up,建议先不要急着调超时,先确认连接是在哪一刻被关闭的。这个错误通常意味着对端在请求完成前关闭了 TCP 连接,可能发生在代理层,也可能由 Node.js 侧主动断开引起。以下排查路径按“现象、检查点、处理动作、验证信号”展开,需要结合你的实际架构调整。

先分清错误发生在哪一段

记录错误发生时的完整堆栈和请求阶段。同一个错误信息,在连接建立阶段、发送请求体阶段、等待响应阶段,对应的处理方向完全不同。

  • 如果请求创建后立即报错,先检查代理是否可达,以及目标地址的 DNS 和防火墙。
  • 如果错误出现在发送请求体时,检查请求体大小、代理的请求体上限,以及 Node.js 写出的背压。
  • 如果错误出现在等待响应时,并且请求耗时越长越容易复现,重点查代理的 read timeout 是否小于上游处理时间。
  • 如果只在并发较高时出现,多半与连接复用、代理连接池排队,以及客户端消费速度有关。

代理层超时与连接复用

代理层(如 Nginx 或网关)通常有 send_timeout、read_timeout、keepalive_timeout 等配置。如果代理在响应未完成时就断开,上游访问日志里往往有对应记录。用 curl 走代理和直连分别请求同一个可能触发的端点,看返回码和耗时。如果代理日志出现 499,说明代理在等上游响应时,客户端先断了;如果出现 504,则是代理等上游超时。

Node.js 侧如果启用了 keepAlive,要注意空闲 socket 被代理回收的问题。代理的 keepalive_timeout 应大于 Node.js 侧 agent 的 timeout,否则复用连接时可能会被代理先关闭。但也别把 Node.js 侧 timeout 无脑调大,因为如果代理阈值固定,等再久也只会在断连后报错。

这里给出一个最小的 http.Agent 配置,用来隔离空闲超时和请求超时:

const http = require('http');

const agent = new http.Agent({
  keepAlive: true,
  maxSockets: 10,
  maxFreeSockets: 2,
  timeout: 120000
});

const req = http.request({
  hostname: 'gateway.example.com',
  path: '/v1/chat/completions',
  method: 'POST',
  agent: agent,
  timeout: 60000
}, res => {
  res.on('data', () => {});
  res.on('end', () => {});
});

req.on('timeout', () => {
  req.destroy(new Error('request_timeout'));
});

req.on('error', (err) => {
  console.error(err.message);
});

req.end(JSON.stringify({
  model: 'your-model',
  messages: [{ role: 'user', content: 'hi' }]
}));

这段代码的目的是把连接空闲时间和单次请求总时间分开设置。先跑一遍,看错误阶段是变成主动超时还是仍然 socket hang up。如果要调整,优先改 timeout 和 maxSockets,并在小流量下观察。

Node.js对接中转站遇到socket hang up时排查代理层超时与背压控制

背压控制与并发限流

如果请求的是流式响应,data 事件里如果处理不及时,内部缓冲区满了以后,代理和上游会认为客户端已经失效,从而断开连接。确保在 data 回调里只做必要处理,不要把异步读写放在队列中无限堆积。

建议在业务入口增加一个信号量或类似 p-limit 的控制层,限制同时发起的请求数量。遇到 socket hang up 重试时,要降低并发,并加重试次数上限,避免重试风暴扩大背压。

分支排查清单

根据错误发生阶段,优先执行对应分支,而不是把所有配置都改一遍。

  • 连接建立后立即断开:检查代理的 upstream 是否可用。用 nc -vz 目标地址 端口测试连通性,看代理日志是否有 connection refused。如果直连正常而走代理异常,再查代理自身的转发配置。
  • 发送请求体中断:检查代理的 client_max_body_size 是否小于请求体,以及 Node.js 写入时是否遇到 backpressure。可以把请求体改为流式写入,同时监听 drain 事件。
  • 等待响应时超时:对比代理的 read_timeout 和上游实际处理耗时。如果上游本身超过阈值,考虑增大代理层超时,或让中转站提供异步结果回调。
  • 高并发下频繁触发:检查代理连接池和 Node.js 的 maxSockets 设置。过小会导致排队,过大会让代理连接池被打满。调整后观察是否仍然只在高峰出现。

验证信号不能只看 Node.js 一侧,要同时拉取代理访问日志和错误时间做对齐。确认是哪一端先断开连接。如果有条件,在 Node.js 和代理之间抓包,看谁先发 FIN 包。调整配置后,先做小范围复现,确认错误不再出现,再逐步放量。