本地vLLM服务经中转站转发时CUDA OOM触发重试导致任务堆积排查

文章导读
在本地部署vLLM,前面挂一个中转站做统一入口,是很多团队常用的结构。但这个结构遇到CUDA OOM时,往往不只是报错那么简单——请求会不断重试、越积越多,最后vLLM彻底卡死,连健康检查都过不了。我结合自己排查这类问题的经验,把思路拆成几个关键步骤,每一步都写清楚适用场景和验证方式。
📋 目录
  1. Ⅰ 先分清OOM发生在哪个环节
  2. Ⅱ 重试叠加会让一次请求变成多次推理
  3. Ⅲ 限流、调显存、抓日志,按这个顺序做
  4. Ⅳ 健康检查和状态码重试也是OOM触发器
  5. Ⅴ 验证调整效果,并留好回滚边界
A A

在本地部署vLLM,前面挂一个中转站做统一入口,是很多团队常用的结构。但这个结构遇到CUDA OOM时,往往不只是报错那么简单——请求会不断重试、越积越多,最后vLLM彻底卡死,连健康检查都过不了。我结合自己排查这类问题的经验,把思路拆成几个关键步骤,每一步都写清楚适用场景和验证方式。

排查时先同时查看中转站转发日志和本地vLLM服务日志,重点确认CUDA OOM发生的时机是在请求进入推理引擎前还是推理计算过程中。如果OOM出现在推理前,多与请求排队时累积的显存占用有关;若出现在推理中,则可能由长序列或超大batch导致。通过比对两端日志的时间戳和请求ID,可以判断是单点OOM还是多条请求同时触发,这决定了后续调整方向。

先分清OOM发生在哪个环节

排查时不要只盯着vLLM的报错,先同时打开中转站的转发日志和vLLM的日志,确认CUDA OOM发生在请求进入推理引擎之前,还是推理计算过程中。如果是推理前OOM,通常是请求排队时累积的显存占用没有释放;如果是推理中OOM,则可能是长序列或超大batch把显存顶破。比对两端日志的时间戳和请求ID,能看出问题是单点还是多条请求同时触发,这决定了是调整并发还是调整单请求限制。

在终端里过滤vLLM日志中的OOM行,同时保留上下文,可以用类似这样的命令:

grep -n -C 5 "CUDA out of memory" /var/log/vllm.log > /tmp/oom_context.log

执行之后,把OOM上下的日志输出到临时文件,再和中转站的access log按时间戳做关联。如果没有现成的日志文件,先确认vLLM启动时有没有开启debug日志,否则这些上下文可能不完整。

重试叠加会让一次请求变成多次推理

重试机制是这类问题的放大器,值得单独说。这里有一个我不止一次踩过的设计陷阱:

需要注意的是,vLLM自身对部分请求失败会触发内部重试,而中转站为了提升可用性也会配置重试策略。两个重试机制叠加时,一次原始请求可能被复制成多次实际推理,并逐级放大到达vLLM的压力。如果OOM发生在显存释放前,重复重试往往继续OOM,形成一个不断堆积请求的死循环。检查中转站的重试次数上限以及与vLLM重试策略的配合关系前,不要轻易调大任一端并发数。

这段话说明,重试不是无脑放大就完事,它要和显存释放节奏匹配。OOM本身可能只是瞬时压力,但如果释放显存需要几百毫秒,而重试请求在几十毫秒内就打过来了,显存永远无法回到安全水位。vLLM内部对部分失败请求有重试,中转站默认策略又会对5xx重试,两层叠加后,一次原始请求可能变成多次实际推理。所以不要急着调大任一端并发,先把两端的重试策略梳理清楚。

限流、调显存、抓日志,按这个顺序做

明确问题后,操作顺序可以按下面这样来,每一步都有对应的验证点:

第一步,在中转站侧限制发往本地vLLM服务的最大并发数,并设置请求超时时间,超时后直接返回错误,避免请求无限挂在队列中。第二步,在vLLM启动参数中适当调低gpu-memory-utilization,预留部分显存用于处理突发请求和显存碎片。第三步,将vLLM的日志输出级别调为debug,记录每次OOM时的请求元数据,包括输入长度、采样参数和当前显存使用率,方便后续对特征请求做单独限制。完成以上调整后,先以低流量验证稳定性再逐步放开并发。

先看第一步在中转站限制并发。这里以一个常见的Nginx反向代理为例,限制到vLLM后端的连接数,同时设置明确的超时:

本地vLLM服务经中转站转发时CUDA OOM触发重试导致任务堆积排查
upstream vllm_backend {
    server 127.0.0.1:8000 max_conns=16;
    keepalive 32;
}

location /v1/ {
    proxy_pass http://vllm_backend;
    proxy_connect_timeout 5s;
    proxy_read_timeout 300s;
    proxy_next_upstream off;
}

配置里max_conns控制的是Nginx到后端的最大连接数,当活跃请求数超过这个值,新请求会在Nginx队列里等待,超时后直接返回错误,而不是无限堆积。16只是一个保守参考值,实际需要结合显存容量和平均请求占用估算,建议从4或8开始试。proxy_next_upstream off一定要加,因为只有一个后端时,重试只会重复打到一个地方。

第二步调整vLLM启动参数。`--gpu-memory-utilization`控制预分配的显存比例,默认值偏高时,显存很容易被一次性占满;调低到0.85左右,可以给碎片释放和突发请求留一点空间。`--max-num-seqs`限制并发序列数,配合前面的连接数限制使用,示例命令如下:

python -m vllm.entrypoints.openai.api_server \
  `--model` /data/models/Qwen2.5-7B-Instruct \
  `--gpu-memory-utilization` 0.85 \
  `--max-num-seqs` 32 \
  `--max-model-len` 8192 \
  `--log-level` debug

注意,`--gpu-memory-utilization`不是越小越好。调太低会明显降低吞吐,因为vLLM需要更多显存交换。建议从0.90降到0.85,观察OOM频率和显存余量,再决定是否继续调整。如果OOM经常出现在长序列请求,`--max-model-len`也可以适当收紧。

第三步设置debug日志。除了命令行加`--log-level` debug,也可以设置环境变量VLLM_LOGGING_LEVEL=DEBUG。打开之后,OOM日志会记录请求的输入长度、采样参数和显存使用率,后面就能根据这些元数据定位是哪类请求在触雷。

健康检查和状态码重试也是OOM触发器

还有一个容易被忽略的坑,它不来自业务流量,而是来自设施本身:

实际运维中容易忽略的坑是:中转站的健康检查机制会定期向vLLM发送探测请求,如果探测请求本身携带较大的输入或未设置合理超时,在显存余量不足时也会诱发OOM。另外,一些中转站默认对所有5xx错误进行重试,而CUDA OOM映射的HTTP状态码可能被误判为可重试的临时故障。因此需要显式配置状态码与重试策略的对应关系,将OOM相关错误单独处理,避免与普通超时或连接错误混用同一条重试规则。

这段经验说明两件事。第一,健康检查的探测请求也要控制体量,建议把健康检查路径改成/v1/models这类轻量接口,或者用HEAD请求,并且套用独立的超时配置。第二,状态码重试规则必须细化,不要把CUDA OOM映射的HTTP状态码和普通5xx混在一起。很多网关默认对所有5xx重试,但OOM是否值得重试,取决于显存能否在短时间内释放。如果日志显示连续OOM,说明显存没有恢复,这时重试策略应该关掉或者只保留一次。

验证调整效果,并留好回滚边界

调整完成后不要直接上压测。先以小流量验证,观察vLLM日志里还有没有新OOM,以及中转站日志里是否有请求超时或重试。用nvidia-smi持续记录显存曲线,判断调整是否有效:

nvidia-smi `--query-gpu`=memory.used,memory.total `--format`=csv -l 1 > /tmp/gpu_mem.log

如果显存曲线在OOM发生前是缓慢爬升到顶,说明并发或序列长度在累积,需要进一步调低max-num-seqs;如果一瞬间直接顶满,说明请求尖峰过大,需要更严格的连接数限制。回滚前把旧的启动参数和Nginx配置保留在一个文件里,一旦出现大量超时或4xx,可以快速恢复原状。

最后还要留一个认知:这些措施能缓解压力,但改变不了OOM的根本原因。如果模型权重本身就超出显存容量,或者某个请求长期占用大量显存,限流和调显存利用率只能争取时间。真要解决,还得考虑换更大的卡、拆分模型层,或者对输入长度做硬性截断。这属于后续优化,不在本次排查范围内。