使用FastChat本地部署Vicuna模型时的worker线程数配置与内存占用平衡

文章导读
FastChat 本地部署 Vicuna 时,worker 数控制的是请求并发能力,不是推理速度。多个 worker 通常会各自加载一份模型副本,内存占用会随 worker 数增加而明显上升。因此,第一步不是决定要开几个 worker,而是先确认单个 worker 占用的内存基线。默认 1 个 worker 是最稳的起步配置,需要并发时先调高请求排队数,再考虑增加 worker。
📋 目录
  1. Ⅰ 先确认环境和内存基线
  2. Ⅱ 启动最小配置
  3. Ⅲ 验证 worker 数与内存占用
  4. Ⅳ 失败时按顺序回退
A A

FastChat 本地部署 Vicuna 时,worker 数控制的是请求并发能力,不是推理速度。多个 worker 通常会各自加载一份模型副本,内存占用会随 worker 数增加而明显上升。因此,第一步不是决定要开几个 worker,而是先确认单个 worker 占用的内存基线。默认 1 个 worker 是最稳的起步配置,需要并发时先调高请求排队数,再考虑增加 worker。

先确认环境和内存基线

在修改任何参数前,先把环境条件固定下来。

  • 确认模型路径真实存在,例如 /opt/models/vicuna-7b-v1.5。
  • 确认推理设备是 GPU 还是 CPU。GPU 模式看显存,CPU 模式看系统内存,这两者在 worker 增多时都会同步增大占用。
  • 启动一次不带额外参数的 model worker,用 nvidia-smi 查看显存,用 ps -o vsz,rss -p <pid> 查看系统内存,记录常驻占用作为基线。
  • FastChat 不同版本对 worker 参数的实现不完全相同,执行 python -m fastchat.serve.model_worker `--help` 确认参数名再配置。

启动最小配置

先启动 controller,再启动 model worker。以单 GPU 为例:

使用FastChat本地部署Vicuna模型时的worker线程数配置与内存占用平衡
# 启动 controller
python -m fastchat.serve.controller `--host` 0.0.0.0 `--port` 21001

# 启动 model worker,单 worker
python -m fastchat.serve.model_worker \
  `--controller-address` http://localhost:21001 \
  `--model-path` /opt/models/vicuna-7b-v1.5 \
  `--device` cuda \
  `--num-workers` 1 \
  `--max-concurrency` 4

`--max-concurrency` 控制同时进入推理队列的请求数,不会复制模型,因此对内存增速的影响远小于增加 worker 数。如果当前是 CPU 环境,把 `--device` cuda 改为 `--device` cpu 即可。

使用FastChat本地部署Vicuna模型时的worker线程数配置与内存占用平衡

验证 worker 数与内存占用

适用场景是你希望在同一台机器上响应多个请求,且不能接受排队延迟。先保持 `--num-workers` 1 运行一段时间,记录稳定后的内存占用;再把 `--num-workers` 提高到 2,继续观察。主要看两个指标:worker 进程数是否增加到 2,以及新增 worker 后内存是否接近“单 worker 占用 × 2”。如果内存接近或超过可用上限,说明当前环境不适合增加 worker 数。

确认 worker 注册状态,可以访问 controller 的 /worker_status 接口,正常应能看到注册的 worker。再发送连续请求,观察内存峰值是否持续上涨;如果峰值逼近可用上限,应立即停止测试并降低并发设置。

失败时按顺序回退

  1. 出现 OOM 或进程被杀,先把 `--num-workers` 改回 1,等内存回落。
  2. 若仍不稳定,降低 `--max-concurrency`,让请求排队而不是挤满内存。
  3. 显存不足时,用 `--max-gpu-memory` 限制显存使用,或启用 `--load-8bit` 降低模型精度;这些参数能减少单个 worker 的占用,但不能抵消 worker 数量增加带来的线性放大。
  4. 系统内存不足时,优先减少 worker 数,而不是依赖 swap。swap 只能作为临时止血,长期依赖会显著拖慢推理。