ROCm 5.7 升级到 6.0 后 AMD 显卡推理精度下降的回滚策略

ROCm 从 5.7 升到 6.0 后，个别 AMD 显卡在推理任务里出现精度变化，通常是算子实现、混合精度默认行为或推理框架编译期绑定变化导致的。这类问题不一定是显卡硬件故障，也不一定代表 6.0 整体不可用。需要先确认精度下降是否发生在固定模型、固定算子或固定推理框架上，再决定是局部规避还是整体回滚到 5.7。回滚本身并不复杂，但难点在于 ROCm 与 PyTorch、TensorFlow 的构建版本、运行库路径和系统包管理状态往往互相绑定，只卸载 6.0 不一定能恢复原有环境。

升级到 ROCm 6.0 后出现推理精度下降时，先保留 6.0 的完整环境记录，再通过推理框架自带算子测试或同一模型多次输出比对确认问题范围。若确认是 6.0 编译器/运行库行为变化，建议在系统层回滚到 5.7 的同时恢复原有 ROCm 相关环境变量、PyTorch 轮子和驱动包；回滚后需重新跑同一输入做数值比对，避免残留 6.0 库文件混用。

先确认你想回滚的是什么

回滚前要分清三层：ROCm 基础运行库（/opt/rocm）、AMD GPU 内核驱动（amdgpu-dkms）、推理框架自带的 ROCm 绑定（如 torch.backends.rocminfo、tensorflow-rocm）。很多情况下，5.7 升级到 6.0 时驱动没变，只是用户态 ROCm 库被替换，或者 PyTorch 轮子换成针对 ROCm 6.0 编译的版本。如果只是 PyTorch 轮子变化，回滚 ROCm 到 5.7 反而可能让新轮子找不到旧库。因此，回滚动作应该以“恢复可重复的推理结果”为目标，而不是单纯把 /opt/rocm 指回 5.7。

建议先记录当前状态：rocm-smi、/opt/rocm/lib/libamdhip64.so 的符号链接指向、python -c "import torch; print(torch.__version__, torch.version.hip)" 的输出，以及推理时用到的 LD_LIBRARY_PATH 和 HSA_OVERRIDE_GFX_VERSION 等环境变量。这些信息是回滚后判定是否恢复一致的唯一依据。

回滚前的备份与版本固定

如果系统里原来装的是 ROCm 5.7，升级时通常通过 apt 替换了 rocm-hip-libraries 或 hip-runtime-amd 这类元包。回滚前先确认当前安装状态：

apt list `--installed` | grep -E "^rocm|^hip|^amd-sdk-lib"
dpkg -l | grep amdgpu-dkms

如果 apt 缓存里还留有 5.7 的 deb 包，可以直接按旧版本号指定安装。若没有缓存，需要先确认 5.7 的 apt 源可访问，再执行安装。实际操作时，建议先把当前 6.0 的库文件名列表保存下来，回滚后对比，防止旧文件残留：

find /opt/rocm -maxdepth 2 -name "*.so*" | sort > rocm6_so_list.txt
find /opt/rocm -maxdepth 2 -name "*.so*" | sort > rocm5_so_list_after.txt
# 用 diff 检查多余文件

如果推理环境是 Docker 或虚拟环境，更推荐直接保留旧镜像或旧虚拟环境目录，不要尝试在系统层做完全回滚。容器隔离下，回滚就是切换镜像标签，风险最小。

回滚操作顺序

整体回滚建议按以下顺序执行，每步确认成功后继续：

卸载或降级 ROCm 用户态组件：先移除 6.0 相关包。若原来由 apt 安装，使用 sudo apt install rocm-hip-libraries=5.7.x 指定旧版本，而不是先 remove 再 install，避免中间状态导致依赖断开。
恢复推理框架的 ROCm 绑定：PyTorch 的 ROCm 轮子通常和 ROCm 主版本绑定，回滚到 5.7 后需要重新安装对应的 torch 版本。例如先卸载当前 torch，再安装以前记录的带 rocm5.7 的轮子。
恢复环境变量：更新 /etc/profile.d/rocm.sh 或 shell 配置中的 ROCM_PATH、HIP_VISIBLE_DEVICES、HSA_OVERRIDE_GFX_VERSION，并重新登录或 source 使配置生效。
驱动层恢复：如果升级 6.0 时也替换了 amdgpu-dkms，需要重新安装旧版驱动并重建 initramfs。若推理精度问题出现在 FP16 或 BF16，驱动层回滚可能不明显，但也要保持驱动版本与 ROCm 版本匹配。

下面的命令片段展示了一种可用的 apt 降级思路，具体版本号需要根据你的实际源替换：

sudo apt update
sudo apt install rocm-hip-libraries=5.7.0-1 \
    hip-runtime-amd=5.7.0-1 \
    rocm-llvm=5.7.0-1
sudo apt-mark hold rocm-hip-libraries

如果 5.7 版本的包名或版本号不同，先执行 apt-cache policy rocm-hip-libraries 查看候选版本，不要强行按猜测输入。

回滚后如何验证精度恢复

直接用业务模型跑一次全量推理未必能看出问题，因为随机性和输入顺序会影响输出。更可靠的方式是先记录回滚前同一输入的输出张量，再在 5.7 上用相同脚本跑一次，对比张量差异。可复制一个最小验证脚本片段：

import torch
from torch.utils.cpp_extension import ROCM_HOME

# 先固定随机种子和输入，保存回滚前的输出
x = torch.randn(4, 128, dtype=torch.float16, device="cuda")
w = torch.randn(128, 128, dtype=torch.float16, device="cuda")
torch.manual_seed(2024)
y = x @ w
torch.save(y, "output_rocm6.pt")

# 回滚后加载同一个输入文件，再执行一次
x_ref = torch.load("input.pt")
w_ref = torch.load("weight.pt")
y_ref = x_ref @ w_ref
y_old = torch.load("output_rocm6.pt")
print((y_ref - y_old).abs().max())

如果最大绝对差在 FP16 数据下接近 1e-2 以下，通常可以认为算子行为已恢复。如果仍然存在明显差异，说明问题不完全在 ROCm 版本，可能和内核驱动、推理框架版本或模型权重本身有关，此时不建议继续回滚旧版本，而应该改用算子级二分定位。

常见问题

只回滚 /opt/rocm 软链接能生效吗？ 不完全能。很多推理框架编译时内部记录了 ROCm 路径，运行时也会通过 hipInit 检查库版本。只改软链接容易导致运行时版本不匹配，建议通过包管理或容器重建统一回滚。

回滚后还能继续用升级前保存的模型吗？ 模型权重文件本身与 ROCm 版本无关，只要推理框架版本一致，一般可以直接加载。但建议加载后先跑一次与回滚前完全相同的推理输入，确认输出没有异常偏移。

如果回滚失败，是否只能重装系统？ 不必。可以先把当前 6.0 的 /opt/rocm 整个备份到其他目录，然后从 apt 源重新安装 5.7 的包。若依赖冲突严重，优先考虑在 Docker 中重建旧环境，避免破坏系统包状态。