在 AMD 显卡上启动 Text Generation Inference(TGI)服务时,报错信息里出现 rocBLAS 相关字样,通常不是单一原因,而是 ROCm 软件栈与 TGI 构建方式不匹配。常见的情况有:操作系统里根本没有安装 ROCm;安装了 ROCm 但路径未被动态链接器识别;TGI 通过源码编译时缺少 rocblas-dev 开发包;或者直接用 Docker 镜像但没有正确挂载 GPU 设备。先确认你走了哪条安装路径,再决定补什么。
先判断缺少的是哪一层
执行 rocminfo 看 ROCm 是否可用。如果提示命令不存在,说明系统还没有安装 ROCm 用户态组件。然后执行 ldconfig -p | grep rocblas,确认是否有库文件被系统识别。没有任何输出时,就是缺少 rocblas 运行库;有输出但 TGI 仍然报错,多半是版本不匹配或路径冲突。
还需要确认显卡架构。TGI 的 AMD 支持通常集中在 CDNA 架构(MI 系列),RDNA 显卡(RX 系列)能跑但会出现算子支持不完整的边界问题。查看 rocm-smi `--showproductname`,记录显卡型号后再继续。
安装前确认 ROCm 环境
根据操作系统安装对应的 ROCm 基础层。以下以 Ubuntu 为例,仅给出通用骨架步骤,具体软件源地址需要结合你的发行版调整:
sudo apt update
sudo apt install rocm-dev rocblas-dev
# 确认安装后存在 /opt/rocm/include/rocblas安装完成后,让链接器找到库目录:
echo 'export LD_LIBRARY_PATH=/opt/rocm/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
ldconfig -p | grep rocblas如果输出里有 librocblas.so,说明运行库已经就位。注意,rocblas-dev 只在源码编译 TGI 时需要;仅用官方 Docker 镜像则不需要。
按安装方式补齐或绕过依赖
使用 Docker 镜像
Docker 镜像自带 ROCm 库,缺少依赖通常是因为宿主机没有正确暴露设备。启动时用下面这个最小参数组:
docker run `--rm` `--device`=/dev/kfd `--device`=/dev/dri \
-e HSA_OVERRIDE_GFX_VERSION=9.0.0 \
ghcr.io/huggingface/text-generation-inference:latest其中 HSA_OVERRIDE_GFX_VERSION 是硬件架构预留的覆盖开关,仅当你确认当前 ROCm 版本不认识你的显卡时才设置。先不加这个变量,默认启动失败后再试。
源码编译安装
源码编译时,CMake 找不到 rocBLAS 会提前报错。先确认环境变量和依赖包:
cmake -DROCBLAS_PATH=/opt/rocm .
make -j$(nproc)构建结束后,启动服务前再次执行 ldd text-generation-inference 2>1 | grep rocblas,能看到库路径说明链接成功。如果链接失败,检查是否安装了 rocblas-dev,以及编译时 ROCBLAS_PATH 是否指向正确的升级目录。
验证服务是否真的跑起来
启动 TGI 后,观察日志里是否出现 ROCm 初始化成功的信息。例如:
text-generation-launcher `--model-id` your-model \
`--port` 8080 `--dtype` float16激活后用 curl -s http://localhost:8080/health 探测状态,返回 200 即为正常。如果只缺少 rocBLAS,在启动阶段就会失败,不会走到加载模型这一步。
回退与替代路径
如果补齐依赖后仍然复现,先移除 HSA_OVERRIDE_GFX_VERSION,再换用较旧的 Docker 镜像 tag,因为新版 ROCm 可能放弃旧架构支持。另一个回退路径是改用 vLLM 或 llama.cpp 的 ROCm 分支,它们依赖管理更直接。最后才建议设置 ROCBLAS_TENSILE_LIBPATH 这类内部变量,这属于绕过问题的手段,不应作为长期方案。
处理这个问题的关键边界是:不要盲目重装整个 ROCm 环境,先分清是缺少运行库、构建头文件,还是设备访问权限。按上述清单逐项验证,通常能定位到具体断点。