FastChat 本地部署 Vicuna 时,worker 数控制的是请求并发能力,不是推理速度。多个 worker 通常会各自加载一份模型副本,内存占用会随 worker 数增加而明显上升。因此,第一步不是决定要开几个 worker,而是先确认单个 worker 占用的内存基线。默认 1 个 worker 是最稳的起步配置,需要并发时先调高请求排队数,再考虑增加 worker。
先确认环境和内存基线
在修改任何参数前,先把环境条件固定下来。
- 确认模型路径真实存在,例如
/opt/models/vicuna-7b-v1.5。 - 确认推理设备是 GPU 还是 CPU。GPU 模式看显存,CPU 模式看系统内存,这两者在 worker 增多时都会同步增大占用。
- 启动一次不带额外参数的 model worker,用
nvidia-smi查看显存,用ps -o vsz,rss -p <pid>查看系统内存,记录常驻占用作为基线。 - FastChat 不同版本对 worker 参数的实现不完全相同,执行
python -m fastchat.serve.model_worker `--help`确认参数名再配置。
启动最小配置
先启动 controller,再启动 model worker。以单 GPU 为例:
# 启动 controller
python -m fastchat.serve.controller `--host` 0.0.0.0 `--port` 21001
# 启动 model worker,单 worker
python -m fastchat.serve.model_worker \
`--controller-address` http://localhost:21001 \
`--model-path` /opt/models/vicuna-7b-v1.5 \
`--device` cuda \
`--num-workers` 1 \
`--max-concurrency` 4`--max-concurrency` 控制同时进入推理队列的请求数,不会复制模型,因此对内存增速的影响远小于增加 worker 数。如果当前是 CPU 环境,把 `--device` cuda 改为 `--device` cpu 即可。
验证 worker 数与内存占用
适用场景是你希望在同一台机器上响应多个请求,且不能接受排队延迟。先保持 `--num-workers` 1 运行一段时间,记录稳定后的内存占用;再把 `--num-workers` 提高到 2,继续观察。主要看两个指标:worker 进程数是否增加到 2,以及新增 worker 后内存是否接近“单 worker 占用 × 2”。如果内存接近或超过可用上限,说明当前环境不适合增加 worker 数。
确认 worker 注册状态,可以访问 controller 的 /worker_status 接口,正常应能看到注册的 worker。再发送连续请求,观察内存峰值是否持续上涨;如果峰值逼近可用上限,应立即停止测试并降低并发设置。
失败时按顺序回退
- 出现 OOM 或进程被杀,先把
`--num-workers`改回 1,等内存回落。 - 若仍不稳定,降低
`--max-concurrency`,让请求排队而不是挤满内存。 - 显存不足时,用
`--max-gpu-memory`限制显存使用,或启用`--load-8bit`降低模型精度;这些参数能减少单个 worker 的占用,但不能抵消 worker 数量增加带来的线性放大。 - 系统内存不足时,优先减少 worker 数,而不是依赖 swap。swap 只能作为临时止血,长期依赖会显著拖慢推理。