在AMD的ROCm环境下跑Ollama,经常会碰上模型加载不到显卡上的情况。我排查时第一件事就是去看HIP_VISIBLE_DEVICES有没有设对。这个变量控制了Ollama进程能看到的GPU设备,一旦设错,日志里通常只会留下类似“找不到HIP设备”的提示,方向很容易偏。
先确认设备编号,再设置环境变量
在AMD显卡上运行Ollama并启用ROCm后端时,HIP_VISIBLE_DEVICES环境变量用于控制Ollama进程能够看到的GPU设备。该变量的取值规则与NVIDIA的CUDA_VISIBLE_DEVICES类似,但索引编号来源于ROCm的设备枚举顺序。通常系统中有多张显卡时,设备编号不一定是物理插槽顺序,而是与PCI总线地址相关。如果设置的编号不对,Ollama可能启动失败或日志中出现找不到设备的提示。
所以,第一步不是写export,而是先看清当前系统把设备排成了什么样。运行以下命令:
rocm-smi如果要跟某一块具体显卡对上,可以用唯一ID来区分:
rocm-smi `--showuniqueid`设置HIP_VISIBLE_DEVICES时,建议先通过rocm-smi或rocminfo命令确认系统中GPU的编号映射。例如执行rocm-smi `--showuniqueid`或直接运行rocm-smi查看Device ID列表,再根据目标显卡对应的编号进行设置。在Ollama的systemd服务环境中,可以在服务文件中的Environment行添加HIP_VISIBLE_DEVICES="0",或者在使用docker运行时通过-e参数传入。设置后需重启Ollama或容器使变量生效。
在systemd和Docker里怎么传变量
如果你用systemd管理Ollama,找到服务文件里的[Service]段,在Environment行加上变量。注意这里要带引号,等号两边就没有空格:
[Service]
Environment="HIP_VISIBLE_DEVICES=0"改完执行systemctl daemon-reload,然后systemctl restart ollama。如果Ollama跑在Docker容器里,-e参数可以直接把变量传进去:
docker run -d `--device`=/dev/kfd `--device`=/dev/dri -e HIP_VISIBLE_DEVICES=0 ollama/ollama注意这里把ROCm需要的设备文件挂进去,同时指定了可见设备编号。如果机器上有多张卡,你也可以写0,2这样的列表,只暴露其中两张。
加载模型验证是否真的用上了
设置完成,重启服务后,先用一个轻量模型试一下,比如llama3。设置完成后,可以通过Ollama的日志或直接加载模型来验证是否使用了正确的GPU。运行ollama run llama3时观察日志中是否包含类似Using device 0: AMD Radeon RX 6700 XT的信息。也可以在模型加载后,使用rocm-smi查看对应GPU利用率是否有明显上升。如果模型加载失败或日志提示找不到HIP设备,需要检查环境变量是否被正确传递,特别是通过systemd或docker时容易因环境隔离导致变量丢失。
如果日志里出现“Using device 0”,但型号不是你预期的那块卡,那就是编号指错了,回第一步重新核对。如果日志没提到GPU,系统也没报错,那可能是Ollama默认用了CPU,你同样得检查环境变量有没有进到启动进程里。
边界:多卡冲突和架构一致性
还有一点需要明确,HIP_VISIBLE_DEVICES里的编号是ROCm运行时每次启动时重新枚举的,不保证与物理插槽顺序一致,甚至可能因为驱动版本变化而不同。所以在多用户共用一台机器时,别想当然地认为“我就是0号”。如果每个人指定了编号,但实际指向同一张物理卡,显存占用就会互相干扰,推理速度会受影响。
另一个边界是显卡型号。Ollama对ROCm的支持是按架构来的,如果机器上同时有RDNA和CDNA两类卡,即使编号正确,也可能提示不支持。遇到这种情况,建议把这些卡拆到不同机器上,或者用同架构的卡。
两个容易忽略的细节
一是列表格式。ROCm允许只暴露一部分设备,例如HIP_VISIBLE_DEVICES=0,2,但逗号后面不能有空格。在终端里写export HIP_VISIBLE_DEVICES=0,2是有效的;写成0, 2,变量值就会变成“0,”,后面那个2被Shell当成另一个参数了。
二是等号两边别留空格。很多人写export HIP_VISIBLE_DEVICES = 0,Shell会把“HIP_VISIBLE_DEVICES”当成命令去执行,当然设置不上。设完以后,用echo $HIP_VISIBLE_DEVICES确认一下值。如果是通过systemd或docker,还需要确认环境变量真正传进了运行进程,比如在启动脚本里env一下,看看有没有这个变量。
如果这些地方都检查过,还是找不到设备,再考虑是不是驱动程序或Ollama本身的兼容问题。按这个顺序排查,大多数环境变量引发的GPU不可见问题都能定位到。