遇到“CUDA error: out of memory”但主机上 nvidia-smi 显示空闲时,先不要怀疑显卡坏掉。这种情况通常只有两种来源:容器没有真正获得GPU资源,或者程序向CUDA申请了超过物理显存上限的空间。下面按步骤排查,每一步都需要确认结果后继续。
1. 先确认“空闲”是不是表象
在主机上运行:
nvidia-smi; fuser -v /dev/nvidia*nvidia-smi 的 memory.free 如果接近 memory.total,说明显存本身是够用的。假如 fuser 输出了 PID,说明有残留进程占用 GPU 设备文件,先结束这些进程再跑容器。如果 nvidia-smi 里显示其他进程占用显存,那说明这台 GPU 并非空闲,需要与占用方协调。
2. 检查容器是否真的拿到了GPU
用临时容器验证:
docker run `--rm` `--gpus` all [镜像名] nvidia-smi容器内能列出同一块GPU,说明映射正常。如果提示找不到设备,通常是 NVIDIA Container Toolkit 没有安装或默认 runtime 未配置。可以检查 Docker 的 runtime 列表:
docker info | grep -i runtime结果中应该出现 nvidia。若没有,安装并重启 Docker(Ubuntu/Debian 系且已配置好官方源时):
sudo apt install -y nvidia-container-toolkit && sudo systemctl restart docker这一步会改动系统环境,执行前要确认主机不是生产环境的单点。
3. 核对显存总量与程序的内存申请
在容器内查看 GPU 总量:
docker run -it `--rm` `--gpus` all [镜像名] bash -c 'nvidia-smi `--query-gpu`=memory.total `--format`=csv'如果容器里有 PyTorch,也可以运行:
python -c 'import torch; print(torch.cuda.get_device_properties(0))'用输出的总容量对比目标程序默认的显存需求。如果程序要求超过总量,只能调小 batch size、缩小输入尺寸,或改用混合精度。设置环境变量 CUDA_VISIBLE_DEVICES=0 能避免程序误选其它编号的GPU,但这只是固定设备,不会增加可用显存。
4. 失败时回退与最终验证
如果以上都正常但错误依旧,按顺序做回退处理:
- 重启 Docker:
sudo systemctl restart docker。注意所有容器都会重启,先保存现场。 - 重新启动你的容器,再次运行程序。
- 仍不行时,用
`--privileged`启动容器作为尝试(会放宽权限,不建议长期使用)。 - 在程序里设置
CUDA_LAUNCH_BLOCKING=1,让 CUDA 调用同步执行,方便定位是哪一步分配失败。
最后用一段简单的显存分配测试验证容器环境本身没问题:
python -c 'import torch; x = torch.zeros(1024**3, dtype=torch.float32, device="cuda"); print(x.sum().item())'如果这段代码能跑通,说明容器、驱动和显存映射都正常,需要把排查焦点移回程序自身的显存管理逻辑。