AMD 显卡在 llama.cpp 中启用 ROCm 后端时编译选项 -DGGML_HIP 的配置验证

文章导读
在 llama.cpp 中启用 ROCm 后端,-DGGML_HIP=ON 只是 CMake 层面的一个开关,不能把它当成“开了就能用”的充分条件。这个选项生效的前提是:构建环境能找到 HIP SDK,编译产物能链接到 rocBLAS/hipBLAS 库,运行环境能访问 AMD GPU 设备节点。下面按“环境准备 → 编译配置 → 编译产物验证 → 运行验证 → 失败回退”的顺序拆开写,便于对照排
📋 目录
  1. Ⅰ 前置条件:先确认 ROCm 环境本身可用
  2. Ⅱ 编译配置:-DGGML_HIP 需要和其他参数一起传给 CMake
  3. Ⅲ 验证配置:从编译产物和运行日志两层判断
  4. Ⅳ 失败时回退:按编译期和运行期分别处理
A A

在 llama.cpp 中启用 ROCm 后端,-DGGML_HIP=ON 只是 CMake 层面的一个开关,不能把它当成“开了就能用”的充分条件。这个选项生效的前提是:构建环境能找到 HIP SDK,编译产物能链接到 rocBLAS/hipBLAS 库,运行环境能访问 AMD GPU 设备节点。下面按“环境准备 → 编译配置 → 编译产物验证 → 运行验证 → 失败回退”的顺序拆开写,便于对照排查。

前置条件:先确认 ROCm 环境本身可用

在碰 llama.cpp 的编译选项前,先用系统工具确认 ROCm 基本可用:

rocminfo
hipconfig `--full`
  • rocminfo 能列出 AMD GPU 信息,说明驱动和 ROCm 用户态库已识别设备卡。
  • hipconfig `--full` 能显示 HIP 安装路径、关键版本号,后续 CMake 排查依赖这些信息。
  • 如果这两个命令不存在,说明 ROCm 环境变量或安装路径未生效,可以手动执行 export ROCM_PATH=/opt/rocm 后重试。

这一步的目标是确认“系统已经能看见 GPU”,而不是跳过它直接去调 llama.cpp。

编译配置:-DGGML_HIP 需要和其他参数一起传给 CMake

llama.cpp 采用 CMake 构建,通常在一个独立的 build 目录中操作。最基本的配置命令是:

AMD 显卡在 llama.cpp 中启用 ROCm 后端时编译选项 -DGGML_HIP 的配置验证
cmake -B build -DGGML_HIP=ON -DCMAKE_BUILD_TYPE=Release

如果 CMake 找不到 hipcc,需要显式指定 HIP 编译器或 ROCm 路径。下面两个变量按需使用,具体路径以 hipconfig `--full` 显示的信息为准:

cmake -B build -DGGML_HIP=ON -DROCM_PATH=/opt/rocm -DCMAKE_HIP_COMPILER=/opt/rocm/bin/hipcc

这里不建议直接复用已有的 build 目录,建议用 build-rocm 这类新目录。CMake 会缓存上一轮检测结果,同一个目录内切换后端很容易出现“配置没生效”。

验证配置:从编译产物和运行日志两层判断

编译成功后不能只看 exit code,要确认 HIP 后端确实被编译进去。先看链接关系:

ldd build/bin/llama-cli | grep -i rocm
ldd build/bin/llama-cli | grep -i hip
  • 第一条命令如果有 rocblas、hipblas 相关输出,说明可执行文件已链接 ROCm 库。
  • 第二条命令是锦上添花,能看到 HIP 运行时说明路径加载正常。

再跑一次最小推理,重点看模型加载阶段的日志。例如:

AMD 显卡在 llama.cpp 中启用 ROCm 后端时编译选项 -DGGML_HIP 的配置验证
./build/bin/llama-cli -m /path/to/model.gguf -n 16
  • 日志中如果出现类似 device 名称、显存 Buffer 分配、hip 后端初始化等字样,说明运行时确实走了 ROCm。
  • 如果日志只显示 CPU 线程数,没有出现 GPU 设备,要先怀疑 -ngl 参数没设置,比如尝试 -ngl 999 强制分配推理层到 GPU。
  • 如果日志提示 no device 或 device not found,那通常是运行环境问题,不一定是编译选项问题。

更快的判断方式:在 llama-cli 中使用 `--list-devices` 列出可用设备,如果看不到 AMD GPU,说明后端没有加载成功。

失败时回退:按编译期和运行期分别处理

整个流程最容易出问题的是编译阶段和用户权限。编译失败时,先清理 build 目录,再用上一步的 ROCM_PATH 和 CMAKE_HIP_COMPILER 重新配置。如果当时报错是找不到头文件或库,多半是 ROCm 安装目录没有暴露。可以将 ROCM_PATH 指向 hipcc 动态库所在的上级目录,但不要忘记先执行 hipconfig `--full` 确认布局。运行时不识别 GPU,除了检查设备权限外,还可以用 rocm-smi 或 rocminfo 确认卡是否处于可用状态。用户需要加入 render 或 video 组,这是 AMD 显卡常见权限门槛。如果这些都没问题,再考虑是不是 llama.cpp 版本和 ROCm 版本存在兼容性缺口。此时没有捷径,只能换一个相邻版本的 ROCm 或 llama.cpp 重新尝试。

最后提醒一句:-DGGML_HIP 的验证不是一次性的。更换 ROCm 版本、换了显卡、升级了 llama.cpp,都要重新跑一遍上面的编译和运行验证流程。这里记录的命令并不复杂,但能帮你快速区分是“构建配置”还是“运行环境”出了问题。