在 ROCm 环境下使用 vLLM 并配合 Ray 做多卡并行推理,核心不是把命令拼完整,而是让系统层、Ray、vLLM 对 GPU 的数量和通信方式保持一致。以下步骤覆盖多节点场景,单机多卡也适用,只是不需要启动多个节点。
前置条件:先确认 GPU 和系统边界
确认所有参与计算的节点都装有 AMD GPU,并且系统能看到全部设备。通常先执行 rocm-smi,检查列出的 GPU 数量。如果这里就少卡,后面所有步骤都会失败。接着安装与系统内核匹配的 amdgpu 驱动和 ROCm 运行时,保证 /dev/kfd 和 /dev/dri 存在。所有节点的操作系统、ROCm 版本、Python 版本建议保持一致。
安装:PyTorch、vLLM、Ray
先创建虚拟环境,再安装 PyTorch 的 ROCm 版本。安装命令从 PyTorch 官方获取,选择与当前 ROCm 版本匹配的 wheel,例如使用 `--index-url` https://download.pytorch.org/whl/rocm版本号,版本号需要根据实际环境确认。安装后立刻验证:
python -c 'import torch; print(torch.cuda.is_available(), torch.cuda.device_count())'如果第一项为 True 且第二项等于实际 GPU 数量,再继续安装 pip install ray[default] 和 pip install vllm。如果 vLLM 的预编译 wheel 不识别当前 ROCm 环境,需要从源码编译,源码编译依赖 cmake、g++ 和完整的 ROCm 开发包,耗时较长,但通常能获得更准确的硬件支持。
配置 Ray 集群:让节点互相可见
在 head 节点执行:
ray start `--head` `--port`=6379在 worker 节点执行:
ray start `--address`=<head_ip>:6379这里 <head_ip> 需要替换为 head 节点的内网 IP。启动后在任何节点运行 ray status,观察是否看到所有节点和 GPU 资源。如果 GPU 数量没显示,先确认当前 Python 环境中 PyTorch 能识别 GPU,否则 Ray 无法获取设备信息。
启动 vLLM 多卡推理并验证
vLLM 在 tensor_parallel_size 大于 1 时自动使用 Ray。单机多卡场景,如果已经在本地用 ray start `--head` 启动过 Ray,vLLM 会直接连接;多节点场景则需要让 vLLM 进程能访问同一个 Ray 集群。最简单的方式是先在 head 节点上运行 vLLM,并通过环境变量 RAY_ADDRESS 指向该集群。
以离线推理为例,按需编写脚本:
from vllm import LLM
llm = LLM(model='/path/to/model', tensor_parallel_size=2, gpu_memory_utilization=0.9)启动后用一个短文本测试生成。同时打开另一个终端,运行 rocm-smi 观察多张 GPU 的负载是否同时变化。如果负载只落在一张卡上,说明 tensor parallel 没有生效,需要检查 Ray 是否真的申请到了多卡资源。
失败时回退与排查
最常遇到的几类问题:
- Ray 节点之间无法通信:检查防火墙是否放行 6379 端口,以及 head 与 worker 能否互 ping 通。
- GPU 不可见:重新检查 ROCm 驱动,必要时为特定 GPU 型号设置
HSA_OVERRIDE_GFX_VERSION,但需要先确认该参数与硬件匹配。 - vLLM 启动报错或超时:先降低
tensor_parallel_size到 1,确认模型本身能正常加载;再逐步增加并行度,定位是模型问题还是 Ray 资源申请问题。 - 多节点下 vLLM 反复超时:确认
RAY_ADDRESS和节点地址使用的是可互相访问的内网 IP,而不是 localhost。
回退策略:如果跨节点 Ray 集群难以稳定,可以先退回单机多卡模式,只在一台机器上启动 Ray head,并设置 `--num-gpus` 或让 Ray 自动检测。单机验证通过后,再扩展到多节点,减少变量干扰。