有时候在浏览器里打开本地模型的Web界面,会看到显存不足的提示,但任务还在继续跑。这种情况通常不是显卡坏了,而是模型运行时遇到了显存分配失败,自动降级到CPU或共享内存。用命令行核对一下,往往能发现真相。
先确认是误读还是真的降级
在本地模型Web界面中,GPU显存显示不足但任务仍继续运行,往往不是真正的OOM崩溃,而是显存分配失败后系统自动降级到CPU或共享内存的过程。此时用nvidia-smi观察,会看到显存占用并未达到上限,但进程仍在运行,GPU利用率可能波动。判断关键:查看任务日志中是否有"CUDA out of memory"或"Resource exhausted"的警告,如果有,说明已经发生分配失败;如果没有且进程持续运行,则可能是显示刷新延迟或采样间隔过长造成的误读。另外,检查进程实际使用的内存(RSS)是否超过物理内存,若持续飙升,则需警惕。
拿到日志后,需要确认降级发生的具体位置。比如使用Transformers加载模型时,如果显存不足,容易转到CPU推理,但Web界面可能不会直接提示。此时任务日志里的警告信息就是最直接的证据。如果日志里没有这些关键词,那多半是界面显示问题。
用命令核对实际显存占用和进程状态
检测这类异常需要组合使用多个工具。首先在终端执行nvidia-smi确认实际显存占用,再用ps -ef找到模型进程PID,接着用nvidia-smi `--query-compute-apps`=pid,used_memory `--format`=csv查看该进程分配的显存。同时,打开系统监控工具(如htop)观察内存和CPU占用,并切换回Web界面查看是否刷新。如果nvidia-smi显示的显存使用一直低于限制,但任务仍在执行,说明运行件可能已降级到CPU,此时检查CPU占用率,若出现多核满载,则确认降级。最终以进程是否异常退出为成败标准。
下面是一组我常用的排查命令,建议在终端中按顺序执行:
nvidia-smi
nvidia-smi `--query-compute-apps`=pid,used_memory `--format`=csv
ps -ef | grep python
执行完这几条,大部分情况都能定位到问题。如果nvidia-smi显示有进程占用了显存,但Web界面显示不足,可以对比两者的数值差异。另外,htop能帮你看到内存和CPU的实时变化,如果CPU使用率持续走高,说明推理已经转移到CPU上。
降级到CPU运行后的风险边界
当检测到任务并未使用GPU而是降级到CPU运行时,需要评估继续执行的风险。如果模型规模较大,CPU推理时间可能会成倍增加,但任务仍有可能在可接受的时间内完成,此时可以继续等待。但如果CPU内存占用已经接近物理内存上限,或swap分区持续读写,系统会开始变慢,甚至产生进程被杀死的风险。另一种边界是:如果GPU显存显示不足的同时,其他GPU任务也无法启动,说明显存资源已被该进程异常占满,此时应当立即停止任务,释放显存,避免影响其他工作。另外,如果任务日志中出现连续多次重试分配显存的记录,也应当停止。
这里的取舍要看模型大小和硬件资源。如果只是几亿参数的模型,CPU推理虽然慢但可能等得起;如果是几十亿参数的大模型,继续等下去可能浪费大量时间。我的建议是:先确认swap是否被大量使用,如果swap一直在读写,说明内存已接近极限,最好停止任务;如果CPU占用率稳定但不高,而且日志中没有连续报错,可以再观察一段时间。
常见误判:Web界面缓存和子进程占用
一个常见的误判是认为Web界面显示的显存不足就一定是显存坏了。实际上,本地模型Web界面(如Gradio、Streamlit)在渲染GPU信息时,可能会读取过时的json或缓存数据,甚至在某些版本的驱动下,nvidia-smi自身也会因为统计延迟而显示偏低。另一个坑是多个Python子进程共用同一块GPU,但每个子进程不释放显存,导致总占用超限,而Web界面只显示主进程的份额。因此,在依赖任何单一显示之前,先用/usr/bin/time -v 等工具收集任务的实际峰值内存,并观察进程退出时的返回码。若返回码为137(SIGKILL),则是被系统OOM killer杀掉,并非显存不足。
如果怀疑是显示缓存问题,可以先刷新Web页面或重启Web服务。同时,用ps查找所有Python子进程,确认是否有残留进程占用显存。另外,可以用/usr/bin/time -v记录任务的真实内存使用:
# 记录任务实际内存使用
/usr/bin/time -v python run_model.py 2> time.log
# 查看退出码
echo $?
查看time.log中的“Maximum resident set size”和“Exit status”字段,就能判断任务是被OOM killer杀掉还是正常退出。
用基线数据辅助判断显存异常
为了避免依赖单一界面数据,建议在启动本地模型前记录基线显存,然后每隔数秒收集一次GPU利用率和显存占用,保存为日志。当Web界面提示显存不足时,对比基线数据判断是否出现泄漏或未释放。具体做法:启动一个后台脚本,循环执行nvidia-smi `--query-gpu`=memory.used,memory.total `--format`=csv,noheader >> gpu.log,并用awk统计变化趋势。如果显存占用稳步上升但任务并未加速(表现为每步生成时间没有缩短),说明显存可能被无效缓存占用,实际计算并未充分利用GPU。此时,即使任务仍在运行,也应考虑重启进程。
这个脚本可以放在后台跑,比如用nohup方式启动。分析日志时,观察显存占用是否有阶梯式上升。如果确实存在泄漏,重启进程往往是最快的解决方式。