并发请求在 Docker 容器内出现队列积压时,max_num_seqs 直接决定 vLLM 每轮调度最多能打包多少个序列一起推理。如果只调大这个数字,往往能抬高吞吐,但 KV cache 的显存消耗也会同步上升。调优前应当先确认积压是出在调度等待、输入长度偏长还是显存不足,否则会触发额外 swap,响应反而变慢。
前置条件
在调整参数前,需要保证环境和观测手段齐备。如果基础服务还没稳定,直接改调度参数只会掩盖问题。
- vLLM 服务能正常启动,模型路径和 tokenizer 配置与 ChatGLM3 匹配。
- 容器内已暴露健康检查接口,例如
/health或/v1/models,返回 200。 - 能读取 vLLM 日志,并能在宿主机上执行
nvidia-smi观察显存占用。 - 记录业务侧的平均耗时和超时阈值,供调大后对照。
调整前先定位瓶颈来源
队列积压不等于参数容量不够。用 vLLM 日志和容器状态先看方向:
- 查看日志是否出现
Waiting for available sequence slots或类似的排队信息,确认当前批次是否未占满。 - 用
nvidia-smi观察显存是否接近上限,例如利用率已经接近上限时,先不要调大批量。 - 检查输入长度是否集中在最大值附近。若序列很长,批量并发序列数下降,积压可能来自长文本占用大量显存。
- 确认宿主机 CPU 和磁盘 I/O 是否拖慢了 prefill 或 tokenization。
如果日志显示当前批次从未触达 max_num_seqs,说明积压并不是因为单批容量太小,调大它没有意义。这种情况要么是请求本身到达频率低但单个请求生成慢,要么是显存或算子瓶颈卡住了执行时间。
只有在显存尚有富余、但单批未占满调度上限时,增大 max_num_seqs 才最有效。
调整 max_num_seqs
在 vLLM 启动命令中通过 `--max-num-seqs` 指定。以 Docker 容器内直接运行官方的 OpenAI 兼容入口为例:
docker run `--gpus` all \
-v /models:/models \
-p 8000:8000 \
vllm/vllm-openai \
`--model` /models/chatglm3-6b \
`--max-model-len` 8192 \
`--max-num-seqs` 256 \
`--gpu-memory-utilization` 0.9
这里的 `--max-model-len` 8192 只是示例值,实际应根据 ChatGLM3 的上下文长度和单卡显存确定。这个参数的作用范围是单个 vLLM worker 上的调度批次。如果启动时开了 tensor parallel 或多个 worker,每个 worker 都会保留这个上限,显存需求会成倍叠加,因此增加时要按实例数乘进去算总显存。
同时需要留意 `--max-model-len` 与 `--max-num-seqs` 的交互。前者决定每个序列的最大长度,也就决定了单序列 KV cache 的上限。若输入长度普遍接近限制,盲目加大 `--max-num-seqs` 会让每轮推理的 KV cache 总量迅速膨胀。建议先保持 `--max-model-len` 不变,只调整 `--max-num-seqs`,并分步观察。
验证与回退
调整后需要覆盖一次业务峰值时段,再判断是否有效。
- 用
docker logs查看请求日志中的 token 数和耗时,区分排队等待时间和生成时间,不要只看延迟总和。 - 在容器侧观察
nvidia-smi的显存占用,确认没有持续逼近上限。 - 用并发请求做前后对比,例如用
curl发相同 prompt,记录最后一个响应在调整前后的完成间隔。
若显存触发 OOM、调用报 CUDA out of memory 或日志中出现交换等待,立即将 `--max-num-seqs` 调回原值,并检查 `--max-model-len` 是否被设置得过高。回退后如果队列积压依旧,通常意味着单实例已到瓶颈,此时应增加副本或拆分请求长度,而不是继续调大批量。