多卡训练比单卡更容易触发显存上限,但如果单卡能跑、多卡OOM,问题通常不在于模型本身,而在于batch_size被错误地按“全局值”或“每卡值”设置,导致每张卡上的有效batch_size超过单卡能力。DeepSpeed使用 train_batch_size、train_micro_batch_size_per_gpu 和 gradient_accumulation_steps 三个参数共同决定实际批量大小,多卡OOM时首先要调整的是 micro_batch,而不是直接改总batch。
前置条件:确认单卡基线和多卡OOM表现
先记录单卡可运行时的batch_size和显存占用,并确认多卡OOM发生在哪一步:是前向传播、反向传播,还是优化器更新。这个信息可以帮助判断是否需要减小每卡batch_size,还是关闭某些显存优化。如果OOM发生在第一次迭代,多半是每卡batch_size过大;如果发生在几次迭代后,可能是梯度累积或通信缓冲导致。
- 单卡batch_size:记录一个能稳定运行的数值,例如 B。
- 多卡world_size:训练的GPU总数,例如 W。
- 观察OOM出现的位置:日志中的“OutOfMemoryError”或CUDA error。
配置/安装:按公式调整batch_size参数
DeepSpeed通过 train_micro_batch_size_per_gpu 指定每张卡每一步的batch_size,通过 gradient_accumulation_steps 指定累积多少步后更新一次梯度。三者关系为:train_batch_size = train_micro_batch_size_per_gpu × gradient_accumulation_steps × world_size。多卡OOM时,保持总batch不变,缩小micro_batch并增大accum步数,是优先尝试的方案。
假设单卡batch_size=B,多卡GPU数量=W,先尝试每卡micro=B/W,accum=1。如果OOM,再逐步减半micro、加倍accum。下面是一个可修改的DeepSpeed配置片段:
{
"train_batch_size": 32,
"train_micro_batch_size_per_gpu": 4,
"gradient_accumulation_steps": 4,
"zero_optimization": {
"stage": 1
}
}字段说明:train_batch_size 可以留空,让DeepSpeed根据micro和accum自动计算;但显式写出更直观。zero_optimization.stage 可选 0、1、2、3,建议先从 stage 1 开始,减少优化器状态显存。
验证:观察每卡显存和训练日志
修改配置后,运行同样的训练脚本,用 nvidia-smi 观察每张卡的显存峰值,并对照DeepSpeed日志中的参数值。重点看三处:训练是否开始、每卡显存是否低于上限、steps是否正常递增。
- 确认日志中显示的 micro batch size 与配置一致。
- 在训练开始前用 nvidia-smi -l 1 监控显存,记录峰值。
- 如果正常跑完一个epoch,说明该micro batch size可接受。
若此时显存仍有较大余量,可尝试逐步提高micro_batch,以缩短训练时间;若显存接近上限,则保持当前设置。
失败时回退:进一步降低每卡batch或关闭ZeRO
如果以上调整后仍然OOM,可能是显存碎片或优化器状态超出预算,需要继续往下退。先尝试把 micro_batch 再减半,同时把 gradient_accumulation_steps 翻倍;如果还不行,可以临时关闭ZeRO(stage=0),看是否通信或ZeRO引入的额外缓存造成峰值。若关闭后反而正常,说明是ZeRO配置与当前模型不匹配,可以换用stage 2但调低学习率预热,或改用梯度检查点。
需要提醒的是,减少每卡batch_size不会降低模型参数量,只降低激活和梯度缓存占用;若单卡能跑而多卡始终OOM,还应检查数据集加载线程、混合精度设置和通信缓冲区大小。这些都在PyTorch和DeepSpeed启动参数范围内,需结合环境逐项排查。