大多数情况下，WSL2 中 Ollama 无法调用 GPU 是因为缺少 NVIDIA Container Toolkit 容器工具包，或者是二进制安装时环境变量路径未正确指向 WSL 的驱动映射文件，而非显卡硬件故障。
先说结论：先确认 WSL 内部能否识别显卡，再根据安装方式补充容器工具或修正路径，最后通过日志验证卸载层数。
- 先确认：在 WSL 终端运行 nvidia-smi 看是否有输出
- 先处理：Docker 模式装 Toolkit，二进制模式修 symlink
- 再验证：观察 ollama ps 是否显示 GPU 及显存占用
命令速用版
如果你希望快速排查，可以按顺序执行以下命令。注意区分你是通过 Docker 运行 Ollama 还是直接安装的二进制文件。
1. 检查驱动识别：
nvidia-smi
2. 修复二进制路径（如果 nvidia-smi 找不到命令）：
sudo ln -s /usr/lib/wsl/lib/nvidia-smi /usr/bin/
3. 查看 Ollama 进程状态：
ollama ps
为什么会这样
WSL2 的图形架构分为计算加速和图形渲染两个领域。Ollama 主要依赖计算加速层（CUDA），这需要 Windows 宿主驱动通过虚拟化层转发到 WSL2 内部。
如果是 Docker 环境，容器默认是隔离的，必须通过 NVIDIA Container Toolkit 显式授权容器访问宿主 GPU 设备。如果是直接二进制安装，Ollama 进程需要能找到正确的驱动库文件路径，而 WSL2 的驱动库通常位于 /usr/lib/wsl/lib，默认环境变量可能未包含此路径。
分步处理
1. 基础环境检查
确保 Windows 宿主已安装 NVIDIA 显卡驱动，且 WSL 版本为 WSL2。在 WSL 终端输入 nvidia-smi。如果报错，说明驱动转发未生效，需更新 Windows 驱动或重启 WSL（wsl `--shutdown`）。
2. Docker 模式配置
如果使用 Docker 运行 Ollama，必须安装 NVIDIA Container Toolkit。在 WSL 内添加源并安装后，需配置 Docker 守护进程使用 nvidia 运行时。安装完成后重启 Docker 服务。
3. 二进制模式配置
如果直接运行 Ollama 二进制文件，且 nvidia-smi 命令存在但 Ollama 仍报无 GPU，尝试将驱动路径加入环境变量或创建软链接。部分案例显示需将 /usr/lib/wsl/lib 加入 LD_LIBRARY_PATH。
怎么验证是否生效
运行模型后，使用 ollama ps 命令查看进程详情。如果 PROCESSOR 列显示为 100% CPU，说明未调用 GPU；如果显示部分层数卸载到 GPU 或显存有占用，则配置成功。
同时在 Windows 任务管理器的性能标签页中，观察 GPU 引擎（通常是 CUDA 或 3D）是否有波动。
常见坑
1. WSL1 与 WSL2 混用：只有 WSL2 支持完整的 GPU 直通，WSL1 无法调用显卡。
2. 驱动版本过低：部分新显卡需要较新的 Windows 驱动版本（如 21H1 以上系统配合较新驱动）才能在 WSL2 中正常识别。
3. 容器权限遗漏：即使宿主机能识别显卡，Docker 容器启动时若未加 `--gpus` all 参数或未配置默认运行时，容器内依然无法看到设备。
参考来源
- 别再让 CPU 干烧了！手把手教你用 Docker 为 WSL2 下的 Ollama 解锁 NVIDIA GPU 加速
- 解决安装 ollama 在 wsl2 中报 WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.问题 - 假不了 - 博客园
- WSL2 出现 NVIDIA-SMI has failed，报错访问不到 NVIDIA 驱动的三个前置问题，看完再去 Debug
- wsl docker 里运行 ollama 并使用 nvidia gpu 的一些记录 - 懒惰芜菁 - 博客园