在Docker容器中通过vLLM部署ChatGLM3时并发请求队列积压的max_num_seqs调优参数

文章导读
并发请求在 Docker 容器内出现队列积压时,max_num_seqs 直接决定 vLLM 每轮调度最多能打包多少个序列一起推理。如果只调大这个数字,往往能抬高吞吐,但 KV cache 的显存消耗也会同步上升。调优前应当先确认积压是出在调度等待、输入长度偏长还是显存不足,否则会触发额外 swap,响应反而变慢。
📋 目录
  1. 一 前置条件
  2. 二 调整前先定位瓶颈来源
  3. 三 调整 max_num_seqs
  4. 四 验证与回退
A A

并发请求在 Docker 容器内出现队列积压时,max_num_seqs 直接决定 vLLM 每轮调度最多能打包多少个序列一起推理。如果只调大这个数字,往往能抬高吞吐,但 KV cache 的显存消耗也会同步上升。调优前应当先确认积压是出在调度等待、输入长度偏长还是显存不足,否则会触发额外 swap,响应反而变慢。

前置条件

在调整参数前,需要保证环境和观测手段齐备。如果基础服务还没稳定,直接改调度参数只会掩盖问题。

  • vLLM 服务能正常启动,模型路径和 tokenizer 配置与 ChatGLM3 匹配。
  • 容器内已暴露健康检查接口,例如 /health 或 /v1/models,返回 200。
  • 能读取 vLLM 日志,并能在宿主机上执行 nvidia-smi 观察显存占用。
  • 记录业务侧的平均耗时和超时阈值,供调大后对照。

调整前先定位瓶颈来源

队列积压不等于参数容量不够。用 vLLM 日志和容器状态先看方向:

  1. 查看日志是否出现 Waiting for available sequence slots 或类似的排队信息,确认当前批次是否未占满。
  2. 用 nvidia-smi 观察显存是否接近上限,例如利用率已经接近上限时,先不要调大批量。
  3. 检查输入长度是否集中在最大值附近。若序列很长,批量并发序列数下降,积压可能来自长文本占用大量显存。
  4. 确认宿主机 CPU 和磁盘 I/O 是否拖慢了 prefill 或 tokenization。

如果日志显示当前批次从未触达 max_num_seqs,说明积压并不是因为单批容量太小,调大它没有意义。这种情况要么是请求本身到达频率低但单个请求生成慢,要么是显存或算子瓶颈卡住了执行时间。

在Docker容器中通过vLLM部署ChatGLM3时并发请求队列积压的max_num_seqs调优参数

只有在显存尚有富余、但单批未占满调度上限时,增大 max_num_seqs 才最有效。

调整 max_num_seqs

在 vLLM 启动命令中通过 `--max-num-seqs` 指定。以 Docker 容器内直接运行官方的 OpenAI 兼容入口为例:

docker run `--gpus` all \
  -v /models:/models \
  -p 8000:8000 \
  vllm/vllm-openai \
  `--model` /models/chatglm3-6b \
  `--max-model-len` 8192 \
  `--max-num-seqs` 256 \
  `--gpu-memory-utilization` 0.9

这里的 `--max-model-len` 8192 只是示例值,实际应根据 ChatGLM3 的上下文长度和单卡显存确定。这个参数的作用范围是单个 vLLM worker 上的调度批次。如果启动时开了 tensor parallel 或多个 worker,每个 worker 都会保留这个上限,显存需求会成倍叠加,因此增加时要按实例数乘进去算总显存。

在Docker容器中通过vLLM部署ChatGLM3时并发请求队列积压的max_num_seqs调优参数

同时需要留意 `--max-model-len` 与 `--max-num-seqs` 的交互。前者决定每个序列的最大长度,也就决定了单序列 KV cache 的上限。若输入长度普遍接近限制,盲目加大 `--max-num-seqs` 会让每轮推理的 KV cache 总量迅速膨胀。建议先保持 `--max-model-len` 不变,只调整 `--max-num-seqs`,并分步观察。

验证与回退

调整后需要覆盖一次业务峰值时段,再判断是否有效。

  • 用 docker logs 查看请求日志中的 token 数和耗时,区分排队等待时间和生成时间,不要只看延迟总和。
  • 在容器侧观察 nvidia-smi 的显存占用,确认没有持续逼近上限。
  • 用并发请求做前后对比,例如用 curl 发相同 prompt,记录最后一个响应在调整前后的完成间隔。

若显存触发 OOM、调用报 CUDA out of memory 或日志中出现交换等待,立即将 `--max-num-seqs` 调回原值,并检查 `--max-model-len` 是否被设置得过高。回退后如果队列积压依旧,通常意味着单实例已到瓶颈,此时应增加副本或拆分请求长度,而不是继续调大批量。