Transformers多GPU加载不均衡显存占用原因及均匀分配策略

文章导读
多 GPU 加载不均衡,通常不是 Transformers 库本身的缺陷,而是模型在设备间的映射方式、数据并行组的分配方式、以及各卡显存残留共同作用的结果。排查时应按“加载入口 → 设备映射 → 进程分布 → 显存快照”的顺序做判断,而不是先改模型结构。
📋 目录
  1. A 前置条件与基线检查
  2. B 常见原因与初步判断
  3. C 均匀分配的操作策略
  4. D 验证与回退
A A

多 GPU 加载不均衡,通常不是 Transformers 库本身的缺陷,而是模型在设备间的映射方式、数据并行组的分配方式、以及各卡显存残留共同作用的结果。排查时应按“加载入口 → 设备映射 → 进程分布 → 显存快照”的顺序做判断,而不是先改模型结构。

前置条件与基线检查

开始之前,先确认环境里能正确列出全部 GPU,并记录各卡当前占用。以下脚本可以打印每张卡的显存状态,以及模型各参数所在设备:

import torch, transformers

print('可用的 GPU 数量:', torch.cuda.device_count())
for i in range(torch.cuda.device_count()):
    print(f'GPU {i}: {torch.cuda.get_device_name(i)}')
    print('  保留显存:', torch.cuda.memory_reserved(i))
    print('  占用显存:', torch.cuda.memory_allocated(i))

运行上述脚本应当在没有任何模型加载时打印出接近 0 的占用。若已有占用,先结束占用进程再排查,否则后面看到的“不均衡”可能部分来自残留。

接着记录加载模型的方式。Transformers 有多种入口:AutoModel.from_pretrained 直接加载、pipeline 封装加载、accelerate 的 dispatch_model 手动分发。同一个模型在不同入口下的设备映射逻辑不同,先确认用的是哪一种。

常见原因与初步判断

以下几种情况最容易造成多卡显存不均衡。可以结合自己的代码逐条核对:

  • 整体模型被放到了 cuda:0:没有传 device_map,也没有启用数据并行,多张卡只有第一张真实占用,其余几乎闲置。这种情况最明显,但容易被误解为“不均衡”。
  • device_map='auto' 按最大可用显存分配:auto 会按每张卡的剩余显存比例切分模型,如果各卡空显存本身有差异,就会按差异分配。如果你的显存大小不同,这不叫“不均衡”,而是为了规避 OOM;如果显存相同,也可能因为切分粒度导致最后一层落在不同卡上。
  • 推理时批次数据只进到其中一个 worker:使用 DataParallel 时,模型副本在每个 GPU 上都会加载,但输入批量可能只在某个 worker 上计算,导致输入较大时该卡显存偏高。
  • 模型并行时共享层没有被统一切分:例如 word embedding 和 LM head 共享权重,某些切分方式会在每张卡保留完整副本,拉高多卡占用。

先对照这四条,可以缩小方向。如果只有一卡高,优先查设备映射;如果所有卡都高但不一样,优先查数据并行分配。

Transformers多GPU加载不均衡显存占用原因及均匀分配策略

均匀分配的操作策略

显存大小一致时,可以使用 device_map='balanced' 让 Transformers 尽量按层数均匀切分;显存不一致时,则应使用 max_memory 显式指定每卡上限,再用 device_map='auto' 让加载逻辑按上限分配。示例:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    'your-model-path',
    device_map='balanced',           # 显存一致时更均匀
    max_memory={0: '12GiB', 1: '12GiB', 2: '12GiB', 3: '12GiB'},  # 按实际卡数调整
)

注意:balanced 和 auto 只是切分模型的策略。如果你用的是分布式训练而不是单进程多卡推理,一般不需要传 device_map,而是在脚本外层用 torchrun 启动,让每个进程只绑定一张卡:

CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun `--nproc`_per_node=4 train.py

在训练脚本中,请确保没有手动调用 .cuda() 或 .to('cuda') 把模型指定到固定卡。正确写法是根据 local_rank 设置设备,例如:

import torch.distributed as dist
from transformers import Trainer

dist.init_process_group('nccl')
trainer = Trainer(
    model=model,
    args=training_args,   # 包含 local_rank 配置
)

如果使用 Trainer,它内部会按 local_rank 分配设备,不需要手动修改模型。

对于无法使用 device_map 的模型,可以手动指定每一层所在的 GPU。这种方式比较繁琐,仅建议在模型层数少、参数类型明确时使用,例如:

Transformers多GPU加载不均衡显存占用原因及均匀分配策略
for i, layer in enumerate(model.bert.encoder.layer):
    if i % 2 == 0:
        layer.to(0)
    else:
        layer.to(1)

这种做法依赖模型内部结构名,不同模型可能不同,修改前先打印 model 确认层级名。

验证与回退

加载完模型后,再次运行开头的打印脚本,同时可以打印一下模型各参数设备,确认没有任何参数还停留在 cuda:0 之外。如果加载后仍集中在某一卡,说明 device_map 没有生效,检查传入参数名是否正确,以及模型是否被后续操作移动过。

验证时的观察点:

  1. 各卡 保留显存(reserved) 是否都大于 0,且分配后没有出现大量内存碎片。
  2. 如果其中一卡为 0,可能模型仍整体在另一卡。
  3. 如果各卡都大于 0,但数值差异明显,可以查看 model.hf_device_map,它打印每一层被分配给哪张卡。
print(model.hf_device_map)   # 仅当使用 device_map 加载时有效

当调整后仍然无法均匀分配,或者出现 OOM,按以下顺序回退:

  • 先去掉 max_memory,只保留 device_map='balanced',看是否因显存限制导致分配过于保守。
  • 再退一步:不传 device_map,改用 torchrun 多进程启动,让每个进程自己加载一份完整模型。显存占用会成倍上升,但每卡占用会更均匀。
  • 如果显存紧张,则减少 batch size 或使用梯度累积,不要依靠重新切分模型来强行压低峰值。
  • 如果模型确实无法整卡放下,才考虑手动切分并固定映射;这个方案需要结合具体模型结构逐层验证,没有通用公式。

这个排查流程里,每一步都有明确的输出可观察,不会只停留在“看起来不均衡”的层面。按顺序走一遍,就能定位到是设备映射、进程分配还是层切分的问题。