LLaMA-Factory 微调 Llama-3-8B 时遇到“显存不够”,先别急着调梯度累积步数或低秩适应层维度。这两项通常不是显存峰值的主要影响者。真正决定显存占用的是 micro batch size、序列长度、是否开启梯度检查点,以及基础模型本身。下面的内容帮你判断哪些调整值得做,并给出每一步的验证方法。
确认显存占用在哪些部分
在调整参数前,先用 nvidia-smi 观察训练进程的显存占用。小 batch size 下,显存通常被模型权重、优化器状态、激活值和临时缓冲区占据。如果使用 LoRA,基础模型权重会完整加载,LoRA 可学习参数只是其中的一小部分。所以显存不够时,先确认是否已经用了 LoRA,并检查序列长度是否过大。
验证动作
- 运行
nvidia-smi,在训练启动后看显存使用上限。 - 将 micro batch size 设为 1,序列长度设为 512,如果显存占用依然很高,说明基座模型和优化器状态占了主要空间。
- 检查 LLaMA-Factory 训练日志中打印的“可训练参数”数量,确认 LoRA 生效。
梯度累积步数:改的是更新节奏,不是显存峰值
梯度累积的作用是将多个 micro batch 的梯度累加后再更新优化器,等效于扩大 batch size,但单步前向和反向计算量没有变化,因此显存峰值不会下降。如果显存刚好不够,调大梯度累积步数不会让训练跑起来。
但它仍有价值:当 batch size 过小导致梯度噪声大、训练不稳定时,增大梯度累积步数可以让损失曲线更平滑。需要同时按比例调整学习率,否则效果会打折扣。
适用场景与边界
- 适用:训练过程 loss 抖动剧烈,需要模拟更大的 batch size。
- 不适用:显存直接 OOM,因为 OOM 发生在单步计算中。
- 验证:修改梯度累积步数后观察 loss 曲线,若曲线更平稳,说明有效;观察
nvidia-smi,显存峰值应无明显变化。
低秩适应层维度(r 值):任务复杂度优先,显存影响有限
LoRA 的 r 值决定低秩矩阵的秩,影响可训练参数量和模型表达能力。r 值增大,可训练参数增加,优化器状态和梯度也会变大,但相比整个模型,这部分增加通常很小。如果显存不够,把 r 值从 16 降到 8 往往只能省出少量显存,不能解决根本问题。
r 值的选择要以任务复杂度为准:简单分类任务用 8 或 16 通常够了,复杂生成任务可以尝试 32 或更高。不要为了显存刻意调低 r 值,除非可训练参数本身已经成了瓶颈。
验证方式
- 在 LLaMA-Factory 中修改 r 值,保存后查看日志中打印的可训练参数数量。
- 用固定种子和相同训练集,比较不同 r 值在验证集上的 loss 或准确率,选择效果可接受的较小 r 值。
- 监控训练时显存变化,若 r 值影响很小,说明显存瓶颈在其他地方。
实际调整顺序与判断矩阵
建议按以下顺序排查并调整,每一步都先做小范围验证。
| 调整项 | 适用场景 | 操作动作 | 验证方式 | 风险边界 |
|---|---|---|---|---|
| micro batch size | 单步显存 OOM | 逐步减半,直到不 OOM | 观察 nvidia-smi 和训练是否继续 | 过小会使训练不稳定 |
| 序列长度 | 长文本任务 | 适当截断或使用梯度检查点 | 对比不同长度下显存占用 | 过短会丢失语义 |
| 梯度检查点 | 激活值占显存大 | 在 LLaMA-Factory 中开启 | 检查显存下降幅度,运行步速减慢 | 会明显增加训练时间 |
| LoRA 目标模块 | 需要调节参数量 | 选择 q,k,v,o 等模块 | 查看可训练参数 | 影响模型表达能力 |
| 梯度累积步数 | batch 太小导致训练不稳 | 增大梯度累积,同时调整学习率 | 观察 loss 曲线和平稳性 | 不影响显存峰值 |
| r 值 | 模型表达能力不足或过拟合 | 小范围增减 | 验证集效果对比 | 显存影响有限 |
最后,如果以上调整都不够,再考虑使用 DeepSpeed ZeRO-Offload 或量化加载基础模型。这些会改变训练流程,需要结合环境确认是否可用。