训练过程中显存溢出(OOM)通常是 batch size 设置过大,或数据形状在某个 step 突然变大。自动缩小 batch size 并保存断点,核心是让训练循环在捕获到显存异常时,主动降低单步负载,并记录当前模型、优化器、step 和新的 batch size,重启后从断点继续。这个方案适合单卡或单进程训练,尤其适合长时间无人值守的微调任务;多卡分布式场景需要额外处理 rank 间同步,不建议直接套用同一个脚本。
设计思路:先落断点,再缩 batch
触发 OOM 时,显存可能已经处于紧张状态,此时再做复杂计算容易二次崩溃。建议顺序是:捕获异常后立即保存断点,再缩小 batch size,然后继续训练。保存断点时要同时写入当前 epoch、step、optimizer state、model state 以及下一次要用的 batch size,否则恢复后 batch size 不会自动更新。
batch size 的缩小策略可以按固定比例退避,例如每次减半,也可以按粒度减少固定数值。固定比例更通用,但要注意 batch size 太小会导致收敛变慢或梯度不稳。因此建议设置一个下限阈值,低于下限时停止训练并上报,而不是无限缩小。
最小可运行脚本骨架
下面是一个 PyTorch 风格的简化实现,也可迁移到其他框架。关键点是把训练 step 封装成函数,并在外层捕获 RuntimeError。
import torch
import torch.nn as nn
import os
def save_checkpoint(path, model, optimizer, step, epoch, batch_size):
torch.save({
'model_state': model.state_dict(),
'optimizer_state': optimizer.state_dict(),
'step': step,
'epoch': epoch,
'batch_size': batch_size,
}, path)
def load_checkpoint(path, model, optimizer):
ckpt = torch.load(path, map_location='cpu')
model.load_state_dict(ckpt['model_state'])
optimizer.load_state_dict(ckpt['optimizer_state'])
return ckpt['step'], ckpt['epoch'], ckpt['batch_size']
def train_one_step(model, optimizer, batch, loss_fn):
optimizer.zero_grad()
out = model(batch)
loss = loss_fn(out, batch['label'])
loss.backward()
optimizer.step()
def train(model, optimizer, dataloader, start_epoch, start_step, start_batch_size):
batch_size = start_batch_size
min_batch_size = 4
ckpt_dir = './ckpt'
os.makedirs(ckpt_dir, exist_ok=True)
for epoch in range(start_epoch, 100):
for step, batch in enumerate(dataloader):
global_step = start_step + step
try:
train_one_step(model, optimizer, batch, loss_fn)
except RuntimeError as e:
if 'out of memory' in str(e).lower():
torch.cuda.empty_cache()
save_checkpoint(
os.path.join(ckpt_dir, 'resume.pt'),
model, optimizer, global_step, epoch, batch_size
)
new_batch_size = max(min_batch_size, batch_size // 2)
if new_batch_size == batch_size:
raise RuntimeError('batch size already at minimum, cannot reduce')
batch_size = new_batch_size
# 重建 dataloader 或设置 sampler 的 batch_size
dataloader.batch_size = batch_size
if hasattr(dataloader, 'batch_sampler'):
dataloader.batch_sampler.batch_size = batch_size
print(f'set batch_size to {batch_size} at step {global_step}')
# 重新执行当前 step
continue
else:
raise e
这个骨架没有处理 batch 内部的样本截断逻辑。更稳妥的做法是在训练前把每个 batch 拆成若干 micro-batch,OOM 时只丢弃未执行的 micro-batch,但这会改变计算顺序,不一定等价。上述脚本直接丢弃当前出错的 batch 并重新取一个新 batch,代价是当前 batch 完全不参与训练。若数据分布稳定,损失可接受。
恢复断点时的调用方式
脚本需要支持“从上次断点继续”,而不是每次从头开始。启动入口一般长这样:
import argparse
def main():
parser = argparse.ArgumentParser()
parser.add_argument('`--resume`', type=str, default='')
args = parser.parse_args()
model = nn.Linear(128, 10)
optimizer = torch.optim.Adam(model.parameters())
loss_fn = nn.MSELoss()
start_epoch, start_step, batch_size = 0, 0, 32
if args.resume:
start_epoch, start_step, batch_size = load_checkpoint(args.resume, model, optimizer)
# dataloader 需根据 batch_size 构造,或者允许运行时修改
dataloader = build_dataloader(batch_size=batch_size)
train(model, optimizer, dataloader, start_epoch, start_step, batch_size)
if __name__ == '__main__':
main()
这里 build_dataloader 是示意函数,实际工程中要把 batch size 作为参数传入。恢复后 step 计数会从 checkpoint 中读回,但 dataloader 是从 epoch 开头取的,无法精确跳到指定 step。若要求严格逐 step 恢复,需要保存 dataloader 迭代器状态,或把数据按 index 切分并保存当前 index。普通微调任务通常从当前 epoch 开头继续即可,因为之前 epoch 的梯度已经写入优化器,损失差异不大。
验证方式与风险边界
先用小模型、小数据集跑通“人工制造 OOM”的流程。比如把初始 batch size 设成比显存上限大数倍,观察脚本是否自动降低 batch size 并产生 checkpoint 文件。再直接运行恢复命令,检查日志中 step 是否从 checkpoint 的 step 继续。验证时重点关注三点:
- checkpoint 里的 batch size 是否在恢复后生效;如果恢复脚本没有读回该字段,训练可能仍用旧值。
- 缩小 batch size 后 learning rate 是否需要同步缩放。若使用大 batch 训练的默认学习率,缩小 batch 后梯度噪声变大,可能需配合 warmup 或降低学习率。
- 保存断点的频率。如果只在 OOM 时保存,那故障前正常运行的上千步都会丢失。建议另设定期保存逻辑,例如每 N 步保存一次,OOM 时的保存作为附加动作。
切换 batch size 时,若优化器使用 SGD 动量或 Adam 的 moment state,这些状态不会因 batch size 变化而重置,但梯度统计的尺度会变化。Adam 通常能适应,SGD 动量可能需要调整。当前脚本保留了 optimizer state,这是一种保守做法;若发现恢复后 loss 异常,可以尝试清空 optimizer state 重新预热。