多卡部署下,host-to-device 拷贝阶段报 CUDA out of memory,通常不是模型参数放不下,而是这一瞬间要创建的大张量超过了剩余显存。先判断报错位置:如果堆栈在 .cuda()、.to(device) 或 DataLoader 返回 batch 时中断,且尚未进入模型 forward,基本可以确定是数据侧显存峰值。下面按这个前提给出可执行的规避步骤。
确认问题出在 host-to-device
前置条件是能拿到完整报错栈,找到第一个涉及张量搬迁的调用。多数情况触发点是 Dataset 的 __getitem__ 内部直接返回了 CUDA tensor,或是 collate_fn 把整批数据拼接成超大的 CPU tensor,再被整体搬到 GPU。运行下面代码,记录当前分配和最大分配,作为后续对比基线。
import torch
print('allocated GiB:', torch.cuda.memory_allocated() / (1024**3))
print('max allocated GiB:', torch.cuda.max_memory_allocated() / (1024**3))缩小单次拷贝的定量
确认触发点后,最直接的做法是降低 host-to-device 拷贝的粒度。适用场景是数据预处理结果一次性转成 CUDA tensor。操作动作:在 Dataset 的 __getitem__ 中只返回原始数据,不要提前 .cuda();在训练循环里把 batch 拆成更小的 chunk 再逐个转移。同时开启 DataLoader 的 pin_memory,并配合 non_blocking=True,让拷贝与计算重叠。注意,non_blocking 不会减少显存峰值,它只是让传输和 kernel 执行并行,峰值控制仍然要靠小 batch 或小 chunk。
def move_in_chunks(batch, device, chunk_size=32):
for i in range(0, len(batch), chunk_size):
sub = batch[i:i+chunk_size]
yield sub.to(device, non_blocking=True)如果使用 DataLoader,可以按如下方式设置,注意把 collate_fn 设计成返回可切分的结构,不要让它一次性生成整个 batch 的大 tensor。
DataLoader(
dataset,
batch_size=64,
pin_memory=True,
num_workers=4
)验证显存峰值是否回落
调整后,在训练循环开始时重置显存统计,再执行一个 step,查看 max_memory_allocated 是否比之前小。如果峰值下降,说明修改命中;如果峰值不变,说明 OOM 分配点不在拷贝分支。此时可逐项还原 pin_memory 和 non_blocking,但要一次只改一个,才能定位到有效动作。
torch.cuda.reset_peak_memory_stats()
# 执行一个训练 step
print('peak during step:', torch.cuda.max_memory_allocated() / (1024**3))多卡环境还要检查各卡显存是否均衡。在 host-to-device 阶段,如果多个 worker 同时往同一张卡拷贝,峰值会被抬高。使用 nvidia-smi 观察各卡占用,必要时用 torch.cuda.device_count() 和 memory_allocated 打印各卡数值,但注意切换 device 可能引入额外开销,不建议在训练热循环中频繁调用。
仍然 OOM 时的降级路径
如果以上步骤后仍 OOM,按优先级回退:先减小 batch_size,比如从 64 降到 16;其次启用梯度累积,每 4-8 个 step 更新一次参数,降低单步峰值;再次把部分中间结果保留在 CPU,在模型 forward 内逐层转 GPU。这些做法都是止血措施,不能替代对数据规模和网络结构的评估。另外,如果判断问题是环境性的,比如多卡负载不均,可以尝试调整数据并行方式,或检查是否有其他进程占用显存。每一步都要重新记录 max_memory_allocated,确认变化来自代码调整而不是偶然波动。