torch.cuda.empty_cache() 调用后仍报 CUDA out of memory,通常不是“缓存没清扫”,而是显存里仍有活跃占用。empty_cache 只能把 PyTorch 缓存区中不再被引用、但预留给后续计算的内存交还给驱动;它不能释放仍在使用的 Tensor、计算图中间变量,也无法解决缓存碎片合并失败的问题。所以排查时应先判断失败发生在训练还是验证阶段,再确认显存是被真实数据占用,还是被无效引用占着。
一、先确认 empty_cache 前后的显存数字
在发生 OOM 的位置前后分别打印 allocated 和 reserved 两组数字,可以区分是 PyTorch 缓存区问题还是真实 Tensor 使用问题。
import torch, gc
def show_mem(tag):
print(tag)
print(" allocated MB:", torch.cuda.memory_allocated() / 1024**2)
print(" reserved MB:", torch.cuda.memory_reserved() / 1024**2)
show_mem("before")
gc.collect()
torch.cuda.empty_cache()
show_mem("after empty_cache")
把这段放在验证循环外,以及重复几次 batch 之后再观察。重点看 allocated 是否下降:没有下降说明仍有活跃张量被引用;reserved 下降但 allocated 不变,说明缓存块能回收却不够用。
二、检查验证路径是否保留计算图
验证阶段最常见的显存占用,是模型还在带梯度模式运行。PyTorch 默认需要保存中间激活来计算梯度,即便没有显式调用 backward,只要 forward 在 requires_grad=True 的参数或输入上执行,图结构就会保留到作用域结束。
model.eval()
with torch.no_grad():
for batch in val_loader:
inputs, labels = batch
logits = model(inputs)
loss = torch.nn.functional.cross_entropy(logits, labels)
total += loss.item()
验证信号:设置 no_grad 后,重新看 allocated 是否显著下降。如果下降明显,说明验证代码之前带着梯度模式。检查分支:是否在验证前调用了 model.train();是否把 loss 保存成张量而不是立即取 .item();是否在验证阶段意外调用 optimizer.zero_grad()。
三、检查临时张量与 Python 引用的生命周期
empty_cache 之后显存仍然没有下降,多数是还有 Tensor 被 Python 引用。比如把每个 batch 的 output 都存进 list,即使 output 被 detach 过,引用还在,显存就不会释放;更常见的是把 loss tensor 直接存进字典或结果列表。
# 错误:保存了 GPU 上的 last_hidden_state
hidden_states.append(model_outputs.last_hidden_state)
# 正确:保存到 CPU 并转为 numpy 或仅保留标量
hidden_states.append(model_outputs.last_hidden_state.detach().cpu())
验证方法:把这几个赋值语句移除后跑一次,观察 allocated 是否回落。如果回落,再逐个把变量迁到 CPU。注意 PyTorch 的 dataloader 如果 pin_memory=True,也可能在验证阶段制造额外拷贝,但这类内存通常不直接计入 CUDA 使用。
四、碎片化与批量边界
empty_cache 之后仍失败,还有一种是显存被切成无法合并的碎片。PyTorch 的 caching allocator 会缓存不同尺寸的 block,empty_cache 只能释放完全空闲的缓存块,不能把分散的小块合并成大块继续使用。所以即使 reserved 不为 0,也可能无法为新 batch 分配连续内存。
print(torch.cuda.memory_summary())
把 batch size 降到 1,确认是否与 batch 大小相关。若降到 1 还失败,说明代码路径里有异常累积,而不是显存普遍不够用。训练阶段可以配合 gradient accumulation 或 torch.utils.checkpoint 降低峰值激活值,但这两个方法不能替代 empty_cache 去清理引用泄漏。
五、最小复现片段
把怀疑点收敛成一个小脚本,先在单卡上跑通以下骨架,再逐步还原模型和验证代码。
import torch, gc
torch.cuda.empty_cache()
model = torch.nn.Linear(512, 10).cuda()
opt = torch.optim.SGD(model.parameters(), lr=0.01)
for step in range(3):
x = torch.randn(100, 512).cuda()
loss = model(x).sum()
opt.zero_grad()
loss.backward()
opt.step()
model.eval()
with torch.no_grad():
x = torch.randn(100, 512).cuda()
print(model(x).shape)
gc.collect()
torch.cuda.empty_cache()
print("after cycle:", torch.cuda.memory_allocated() / 1024**2)
如果这个骨架正常,问题在业务代码。优先查 dataloader 是否在验证阶段把额外数据搬到 GPU,以及模型内部是否缓存了中间张量。empty_cache 只能在确认没有活跃引用的前提下回收一部分备用显存,不适合当作 OOM 后的自动补救措施。