多 GPU 加载不均衡,通常不是 Transformers 库本身的缺陷,而是模型在设备间的映射方式、数据并行组的分配方式、以及各卡显存残留共同作用的结果。排查时应按“加载入口 → 设备映射 → 进程分布 → 显存快照”的顺序做判断,而不是先改模型结构。
前置条件与基线检查
开始之前,先确认环境里能正确列出全部 GPU,并记录各卡当前占用。以下脚本可以打印每张卡的显存状态,以及模型各参数所在设备:
import torch, transformers
print('可用的 GPU 数量:', torch.cuda.device_count())
for i in range(torch.cuda.device_count()):
print(f'GPU {i}: {torch.cuda.get_device_name(i)}')
print(' 保留显存:', torch.cuda.memory_reserved(i))
print(' 占用显存:', torch.cuda.memory_allocated(i))运行上述脚本应当在没有任何模型加载时打印出接近 0 的占用。若已有占用,先结束占用进程再排查,否则后面看到的“不均衡”可能部分来自残留。
接着记录加载模型的方式。Transformers 有多种入口:AutoModel.from_pretrained 直接加载、pipeline 封装加载、accelerate 的 dispatch_model 手动分发。同一个模型在不同入口下的设备映射逻辑不同,先确认用的是哪一种。
常见原因与初步判断
以下几种情况最容易造成多卡显存不均衡。可以结合自己的代码逐条核对:
- 整体模型被放到了
cuda:0:没有传device_map,也没有启用数据并行,多张卡只有第一张真实占用,其余几乎闲置。这种情况最明显,但容易被误解为“不均衡”。 device_map='auto'按最大可用显存分配:auto会按每张卡的剩余显存比例切分模型,如果各卡空显存本身有差异,就会按差异分配。如果你的显存大小不同,这不叫“不均衡”,而是为了规避 OOM;如果显存相同,也可能因为切分粒度导致最后一层落在不同卡上。- 推理时批次数据只进到其中一个 worker:使用
DataParallel时,模型副本在每个 GPU 上都会加载,但输入批量可能只在某个 worker 上计算,导致输入较大时该卡显存偏高。 - 模型并行时共享层没有被统一切分:例如 word embedding 和 LM head 共享权重,某些切分方式会在每张卡保留完整副本,拉高多卡占用。
先对照这四条,可以缩小方向。如果只有一卡高,优先查设备映射;如果所有卡都高但不一样,优先查数据并行分配。
均匀分配的操作策略
显存大小一致时,可以使用 device_map='balanced' 让 Transformers 尽量按层数均匀切分;显存不一致时,则应使用 max_memory 显式指定每卡上限,再用 device_map='auto' 让加载逻辑按上限分配。示例:
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
'your-model-path',
device_map='balanced', # 显存一致时更均匀
max_memory={0: '12GiB', 1: '12GiB', 2: '12GiB', 3: '12GiB'}, # 按实际卡数调整
)注意:balanced 和 auto 只是切分模型的策略。如果你用的是分布式训练而不是单进程多卡推理,一般不需要传 device_map,而是在脚本外层用 torchrun 启动,让每个进程只绑定一张卡:
CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun `--nproc`_per_node=4 train.py在训练脚本中,请确保没有手动调用 .cuda() 或 .to('cuda') 把模型指定到固定卡。正确写法是根据 local_rank 设置设备,例如:
import torch.distributed as dist
from transformers import Trainer
dist.init_process_group('nccl')
trainer = Trainer(
model=model,
args=training_args, # 包含 local_rank 配置
)如果使用 Trainer,它内部会按 local_rank 分配设备,不需要手动修改模型。
对于无法使用 device_map 的模型,可以手动指定每一层所在的 GPU。这种方式比较繁琐,仅建议在模型层数少、参数类型明确时使用,例如:
for i, layer in enumerate(model.bert.encoder.layer):
if i % 2 == 0:
layer.to(0)
else:
layer.to(1)这种做法依赖模型内部结构名,不同模型可能不同,修改前先打印 model 确认层级名。
验证与回退
加载完模型后,再次运行开头的打印脚本,同时可以打印一下模型各参数设备,确认没有任何参数还停留在 cuda:0 之外。如果加载后仍集中在某一卡,说明 device_map 没有生效,检查传入参数名是否正确,以及模型是否被后续操作移动过。
验证时的观察点:
- 各卡
保留显存(reserved)是否都大于 0,且分配后没有出现大量内存碎片。 - 如果其中一卡为 0,可能模型仍整体在另一卡。
- 如果各卡都大于 0,但数值差异明显,可以查看
model.hf_device_map,它打印每一层被分配给哪张卡。
print(model.hf_device_map) # 仅当使用 device_map 加载时有效当调整后仍然无法均匀分配,或者出现 OOM,按以下顺序回退:
- 先去掉
max_memory,只保留device_map='balanced',看是否因显存限制导致分配过于保守。 - 再退一步:不传
device_map,改用torchrun多进程启动,让每个进程自己加载一份完整模型。显存占用会成倍上升,但每卡占用会更均匀。 - 如果显存紧张,则减少 batch size 或使用梯度累积,不要依靠重新切分模型来强行压低峰值。
- 如果模型确实无法整卡放下,才考虑手动切分并固定映射;这个方案需要结合具体模型结构逐层验证,没有通用公式。
这个排查流程里,每一步都有明确的输出可观察,不会只停留在“看起来不均衡”的层面。按顺序走一遍,就能定位到是设备映射、进程分配还是层切分的问题。