PyTorch验证显存不足时使用torch.cuda.empty_cache后仍失败的检查

文章导读
torch.cuda.empty_cache() 调用后仍报 CUDA out of memory,通常不是“缓存没清扫”,而是显存里仍有活跃占用。empty_cache 只能把 PyTorch 缓存区中不再被引用、但预留给后续计算的内存交还给驱动;它不能释放仍在使用的 Tensor、计算图中间变量,也无法解决缓存碎片合并失败的问题。所以排查时应先判断失败发生在训练还是验证阶段,再确认显存是被真实
📋 目录
  1. 一 一、先确认 empty_cache 前后的显存数字
  2. 二 二、检查验证路径是否保留计算图
  3. 三 三、检查临时张量与 Python 引用的生命周期
  4. 四 四、碎片化与批量边界
  5. 五 五、最小复现片段
A A

torch.cuda.empty_cache() 调用后仍报 CUDA out of memory,通常不是“缓存没清扫”,而是显存里仍有活跃占用。empty_cache 只能把 PyTorch 缓存区中不再被引用、但预留给后续计算的内存交还给驱动;它不能释放仍在使用的 Tensor、计算图中间变量,也无法解决缓存碎片合并失败的问题。所以排查时应先判断失败发生在训练还是验证阶段,再确认显存是被真实数据占用,还是被无效引用占着。

一、先确认 empty_cache 前后的显存数字

在发生 OOM 的位置前后分别打印 allocated 和 reserved 两组数字,可以区分是 PyTorch 缓存区问题还是真实 Tensor 使用问题。

import torch, gc

def show_mem(tag):
    print(tag)
    print("  allocated MB:", torch.cuda.memory_allocated() / 1024**2)
    print("  reserved  MB:", torch.cuda.memory_reserved() / 1024**2)

show_mem("before")
gc.collect()
torch.cuda.empty_cache()
show_mem("after empty_cache")

把这段放在验证循环外,以及重复几次 batch 之后再观察。重点看 allocated 是否下降:没有下降说明仍有活跃张量被引用;reserved 下降但 allocated 不变,说明缓存块能回收却不够用。

二、检查验证路径是否保留计算图

验证阶段最常见的显存占用,是模型还在带梯度模式运行。PyTorch 默认需要保存中间激活来计算梯度,即便没有显式调用 backward,只要 forward 在 requires_grad=True 的参数或输入上执行,图结构就会保留到作用域结束。

PyTorch验证显存不足时使用torch.cuda.empty_cache后仍失败的检查
model.eval()
with torch.no_grad():
    for batch in val_loader:
        inputs, labels = batch
        logits = model(inputs)
        loss = torch.nn.functional.cross_entropy(logits, labels)
        total += loss.item()

验证信号:设置 no_grad 后,重新看 allocated 是否显著下降。如果下降明显,说明验证代码之前带着梯度模式。检查分支:是否在验证前调用了 model.train();是否把 loss 保存成张量而不是立即取 .item();是否在验证阶段意外调用 optimizer.zero_grad()。

三、检查临时张量与 Python 引用的生命周期

empty_cache 之后显存仍然没有下降,多数是还有 Tensor 被 Python 引用。比如把每个 batch 的 output 都存进 list,即使 output 被 detach 过,引用还在,显存就不会释放;更常见的是把 loss tensor 直接存进字典或结果列表。

PyTorch验证显存不足时使用torch.cuda.empty_cache后仍失败的检查
# 错误:保存了 GPU 上的 last_hidden_state
hidden_states.append(model_outputs.last_hidden_state)

# 正确:保存到 CPU 并转为 numpy 或仅保留标量
hidden_states.append(model_outputs.last_hidden_state.detach().cpu())

验证方法:把这几个赋值语句移除后跑一次,观察 allocated 是否回落。如果回落,再逐个把变量迁到 CPU。注意 PyTorch 的 dataloader 如果 pin_memory=True,也可能在验证阶段制造额外拷贝,但这类内存通常不直接计入 CUDA 使用。

四、碎片化与批量边界

empty_cache 之后仍失败,还有一种是显存被切成无法合并的碎片。PyTorch 的 caching allocator 会缓存不同尺寸的 block,empty_cache 只能释放完全空闲的缓存块,不能把分散的小块合并成大块继续使用。所以即使 reserved 不为 0,也可能无法为新 batch 分配连续内存。

print(torch.cuda.memory_summary())

把 batch size 降到 1,确认是否与 batch 大小相关。若降到 1 还失败,说明代码路径里有异常累积,而不是显存普遍不够用。训练阶段可以配合 gradient accumulation 或 torch.utils.checkpoint 降低峰值激活值,但这两个方法不能替代 empty_cache 去清理引用泄漏。

PyTorch验证显存不足时使用torch.cuda.empty_cache后仍失败的检查

五、最小复现片段

把怀疑点收敛成一个小脚本,先在单卡上跑通以下骨架,再逐步还原模型和验证代码。

import torch, gc

torch.cuda.empty_cache()

model = torch.nn.Linear(512, 10).cuda()
opt = torch.optim.SGD(model.parameters(), lr=0.01)

for step in range(3):
    x = torch.randn(100, 512).cuda()
    loss = model(x).sum()
    opt.zero_grad()
    loss.backward()
    opt.step()

model.eval()
with torch.no_grad():
    x = torch.randn(100, 512).cuda()
    print(model(x).shape)

gc.collect()
torch.cuda.empty_cache()
print("after cycle:", torch.cuda.memory_allocated() / 1024**2)

如果这个骨架正常,问题在业务代码。优先查 dataloader 是否在验证阶段把额外数据搬到 GPU,以及模型内部是否缓存了中间张量。empty_cache 只能在确认没有活跃引用的前提下回收一部分备用显存,不适合当作 OOM 后的自动补救措施。