Jupyter中运行Diffusion模型显存不足重启内核后释放缓存的技巧

文章导读
Jupyter 里跑 Diffusion 模型遇到显存不足,点“重启内核”再跑一次,是很多人第一反应。这个动作会终止当前 Python 进程并重新拉起一个,但显存是否跟着释放,取决于旧内核进程是否真正退出、GPU 上是否有其它进程占用,以及 PyTorch 缓存分配器在进程内预留了多少显存。因此不建议把“重启内核”当作必然完成释放的手段,而是先观察重启前后显存和进程的变化,再决定后续动作。
📋 目录
  1. A 先确认重启内核后显存是否真的释放
  2. B PyTorch 缓存分配器能释放到什么程度
  3. C 按“一次只改一个变量”调整分配策略
  4. D 固定脚本记录峰值,避免靠感觉判断
A A

Jupyter 里跑 Diffusion 模型遇到显存不足,点“重启内核”再跑一次,是很多人第一反应。这个动作会终止当前 Python 进程并重新拉起一个,但显存是否跟着释放,取决于旧内核进程是否真正退出、GPU 上是否有其它进程占用,以及 PyTorch 缓存分配器在进程内预留了多少显存。因此不建议把“重启内核”当作必然完成释放的手段,而是先观察重启前后显存和进程的变化,再决定后续动作。

先确认重启内核后显存是否真的释放

重启内核后,如果 nvidia-smi 里显存占用依然接近满,先用下面命令列出正在占用 GPU 的进程,而不是直接怀疑缓存没清干净:

nvidia-smi `--query-compute-apps`=pid,process_name,used_memory `--format`=csv

拿到 PID 后,用 ps -p <PID> -o pid,etime,cmd 判断该进程是否还存在。如果 PID 已经不存在但显存占用没有下降,需要再查这台 GPU 上是否有其它 Jupyter 内核、训练脚本或共享用户进程。这个排查方式适合所有显存异常场景,不只是重启内核之后。

PyTorch 缓存分配器能释放到什么程度

如果确认没有残留进程,且用的是 PyTorch,那显存不释放的问题就要回到缓存分配器本身。PyTorch 会在进程内预留一批已分配的显存块,用来复用分配。即使 Python 侧的模型对象被删除,这些显存块也不会立刻归还给驱动。torch.cuda.empty_cache() 的作用只是把进程内空闲的显存块标记为可归还,不是销毁 CUDA context。

Jupyter中运行Diffusion模型显存不足重启内核后释放缓存的技巧

如果还想留在当前内核里继续实验,可以按下面顺序做一轮清理:

import gc
import torch

try:
    del pipe
except NameError:
    pass

gc.collect()
torch.cuda.empty_cache()

print(torch.cuda.memory_summary(abbreviated=True))

适用场景是:当前内核内进行多次采样,想避免上一次的缓存影响下一次分配统计。验证方式是看 memory_summary 中 reserved 与 nvidia-smi 中 memory.used 是否一致。风险边界在于,如果 autograd 图中仍有 tensor 引用模型参数,del 不能把这部分引用清掉;这种清理也不能代替进程退出,进程还活着时,CUDA context 本身依然占用一部分显存。

按“一次只改一个变量”调整分配策略

如果峰值显存总是卡在某个数值附近,建议先调整 PyTorch 显存分配策略,再回头优化模型结构。调整顺序建议从下面几个变量里选,一次只改一个:

  • 环境变量 PYTORCH_CUDA_ALLOC_CONF=backend:cudaMallocAsync,在 import torch 之前设置。这个模式让 PyTorch 用 CUDA 的异步分配接口,内存归还行为会和传统模式不同。
  • 环境变量 PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128,限制缓存块按 128MiB 为单位拆分,主要影响分配碎片。
  • 关闭 cuDNN autotune:torch.backends.cudnn.benchmark = False,避免为卷积自动搜索预分配大块 workspace。

前两条环境变量必须在 import torch 之前生效,否则不会改变当前内核的分配器。设置任意一个变量后,重启内核再跑一段固定步数的采样,记录峰值占用,再改下一个变量。比较配置前后是否变化,而不是同时改多个配置;cudaMallocAsync 和 max_split_size_mb 在不同版本下行为不一样,需要用一次完整生成来判断结果是否正常。

Jupyter中运行Diffusion模型显存不足重启内核后释放缓存的技巧

固定脚本记录峰值,避免靠感觉判断

在 notebook 里放置一个固定脚本,每个配置只跑同一段采样,记录峰值。这样对比才有意义:

import torch

print(torch.cuda.mem_get_info())  # (free, total),单位字节
torch.cuda.reset_peak_memory_stats()

# 这里放固定步数的采样代码
# ...

print(torch.cuda.max_memory_allocated() / 1024**2, "MiB peak")

mem_get_info 返回设备全局空闲和总量,max_memory_allocated 返回当前进程分配过的最高值,两者不是同一层级的指标,不要直接相减得到“可释放缓存”。对比时只比较同一个配置前后的 peak 值。把重启内核当作一个控制变量:每次改动环境配置后重启,比同一个内核里反复 del 和 empty_cache 更能隔离变量。能否降低峰值显存,需要结合具体 GPU 容量和模型结构确认,不要把缓存释放与训练速度提升混为一谈。

如果经过这些步骤后,峰值显存仍然超过显卡上限,问题就不在缓存释放,而在模型侧:batch size、采样分辨率、是否开启自动混合精度、VAE tiling、跨步处理都可能需要调整。前面的排查步骤更适合作为起点,不是终点。