HuggingFace Accelerate 在 `device_map="auto"` 时根据显存大小和模型权重尺寸估算划分方案。失败通常表现为 `ValueError: Couldn't find a device map for this model` 或 `Offloaded to CPU` 后进程卡死，常见原因不是模型本身损坏，而是显存搜索空间不足、`max_memory` 配置不合理、或模型层类型导致 `infer_auto_device_map` 无法完成分配。

遇到自动划分失败，优先检查两点：一是 `max_memory` 是否给足每个设备可用的显存上限；二是是否对不需要参与划分的层（如 `lm_head`）或特定模块显式排除。多数情况下，手动指定 `device_map` 配合 `max_memory` 比反复调整 `"auto"` 更可控。注意 `device_map="auto"` 并不保证一定能找到解，它只是一个启发式搜索。

先判断失败发生在哪个阶段

Accelerate 的自动划分在加载模型前执行。如果报错信息里包含 `infer_auto_device_map`、`No available memory` 或 `Couldn't fit`，说明是在计算设备映射阶段失败；如果模型已经加载但前向传播时提示 `Input tensors should also be on the same device`，则是实际放置与输入 tensor 所在设备不一致。区分这两类问题后，处理方向完全不同。

1. 映射计算失败：修改 `max_memory`、排除层、或改用手动 `device_map`。
2. 前向传播设备不一致：检查输入是否在 `model.device` 上，是否在 `accelerator.prepare` 之后才构造输入。

调整显存上限后再试自动划分

多卡环境下，Accelerate 默认读取 `torch.cuda.mem_get_info` 来估算每卡可用显存，但某些驱动或容器环境里该数值不准确。建议显式传入 `max_memory`，并且为 CPU 留出足够空间用于暂存溢出的层。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "你的模型名"  # 替换为实际模型 ID

max_memory = {
    0: "20GiB",  # 按你的卡实际显存填写，留出约 1-2GiB 余量
    1: "20GiB",
    "cpu": "60GiB"
}

try:
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        device_map="auto",
        max_memory=max_memory,
        torch_dtype=torch.float16
    )
except ValueError as e:
    print("映射失败，尝试手动 device_map")
    print(e)

如果显存足够但依然失败，可以尝试把 `device_map` 改为手动按层分配。先查看模型模块结构，再决定哪些层放哪张卡。

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, low_cpu_mem_usage=True)
print(model.hf_device_map)  # 若之前成功过，会显示划分结果
print(model)

手动划分时，最简单的做法是让前几层放入 0 号卡，中间层放入 1 号卡，输出层留在 CPU 或单卡上。这样可以绕开自动搜索中因层大小不均衡导致的失败。

device_map = {
    "model.embed_tokens": 0,
    "model.layers.0": 0,
    "model.layers.1": 0,
    "model.layers.2": 1,
    "model.layers.3": 1,
    "model.norm": 1,
    "lm_head": "cpu"
}

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map=device_map,
    torch_dtype=torch.float16
)

注意：手动指定必须覆盖所有子模块，漏掉任何一层都会在加载时报 `Some modules are not on any device`。每一层的名字以实际 `model` 打印结果为准，不要照搬其他模型的层名。

对特殊层做排除或跳过

部分模型在 `infer_auto_device_map` 中会因为某些层无法被 `no_split_module_classes` 解析而失败。加速库通常可以根据模型的 `_no_split_modules` 自动处理，但社区模型不一定带这个属性。如果报错指向某个具体模块，可以尝试用 `device_map` 手动把该模块固定到一个设备，而不是参与切分。

from accelerate.utils import get_balanced_memory, infer_auto_device_map

# 先获取模型内存占用估算，然后让某个模块不参与拆层
module_to_not_split = ["LlamaDecoderLayer"]  # 替换为实际层类名

max_memory = get_balanced_memory(
    model,
    max_memory={0: "20GiB", 1: "20GiB", "cpu": "60GiB"},
    no_split_module_classes=module_to_not_split
)
device_map = infer_auto_device_map(
    model,
    max_memory=max_memory,
    no_split_module_classes=module_to_not_split
)
print(device_map)

这段代码单独运行不会加载模型，只输出映射字典。如果这里已经报错，说明手动映射也无法避免，需要检查模型文件是否完整、`safetensors` 是否可用。

验证划分结果是否真正生效

启动推理前不要只依赖加载时不报错。检查以下三点：

• 打印 `model.hf_device_map`，确认每层都落在期望设备上。
• 构造一个小批量输入，确认输出能正常生成，且没有跨设备 tensor 报错。
• 观察显存占用是否接近 `max_memory` 中设置的值，而不是某张卡被占满另一张卡闲置。

# 加载后立即验证
print(model.hf_device_map)

import torch
inputs = tokenizer("测试输入", return_tensors="pt").to("cuda:0")
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=10)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

如果输入放在 `cuda:0` 而模型第一层在 `cuda:1`，会直接报设备不匹配。建议在 `accelerator.prepare` 之后统一用 `accelerator.device` 获取当前主设备。

最后提醒一点：自动划分失败通常意味着显存余量非常紧张，或者模型结构特殊。不要执着于让 `"auto"` 一定成功，手动指定哪几层放哪张卡才是多 GPU 部署里最可控的方案。需要结合你的实际模型、显卡驱动和显存占用确认，单卡能加载的模型，多卡不一定能自动切好。