弱显存显卡直接加载 Nemotron-Labs-Diffusion 原始权重，跑到前向传播就可能因为显存不足而 OOM。可行的处理路径是先用量化降低权重位宽，再用低显存加载方式约束 GPU 占用。但量化效果不能只看文件大小，最终要以本地可复现的推理耗时和显存峰值来判断。这个过程从确认显卡驱动开始，再到选量化工具、执行量化、加载测试，最后用同一套命令记录对比数据。

判断：弱显存显卡可优先尝试 4-bit 量化，但需先确认驱动和 CUDA 环境是否匹配对应工具。操作：用 nvidia-smi 查看可用显存，按模型格式选择 GPTQ/AWQ 或 GGUF 量化；加载时使用 device_map 或 load_in_4bit 限制显存。验证：用 ls -lh 记录文件大小，用 time 记录推理耗时，用 nvidia-smi 记录显存峰值，再横向对比。边界：量化会改变生成结果，不同工具、采样参数都会影响最终数据，必须在本机跑通流程并记录环境。

检查显卡可用显存与驱动版本

先跑 nvidia-smi，输出里的 “Memory-Usage” 能看到总量和当前占用量，两者相减就是可用的显存预算。量化部署至少要留出约 1GB 显存给推理时的中间张量，如果预算低于 3GB，建议直接考虑 2-bit 或 3-bit 的 GGUF 方案。“Driver Version” 和 “CUDA Version” 要同时关注。CUDA Version 是驱动支持的最高版本，而量化工具真正用的是运行时 CUDA，所以还要用 nvcc `--version` 或进入 Python 执行 torch.version.cuda 来确认。

nvidia-smi
nvcc `--version`

通常，AutoGPTQ、AutoAWQ、bitsandbytes 这些工具需要 CUDA 11.8 或更高的运行环境。如果驱动版本过旧，安装后会在加载时直接报 CUDA error，而不是 OOM。所以这一步是后面所有操作的前提。

选用合适的量化方法与工具

先确认模型文件格式。Nemotron-Labs-Diffusion 如果是 HuggingFace 格式（目录下有 config.json 和 safetensors 文件），可以尝试 AWQ/GPTQ 量化，生成后的模型仍能通过 Transformers 加载。如果模型结构特殊、官方脚本不支持，或者你更习惯 llama.cpp 生态，就用 GGUF。GGUF 的量化等级从 q2_k 到 q8_0 都有，弱显存机器通常选 q4_k 起步。

两类方法的适用场景：AWQ/GPTQ 追求推理速度，但量化时需要准备校准集，且显存占用仍然偏高；GGUF 不需要校准集，可以自由选择位宽，CPU/GPU 混合模式更灵活，但推理速度略慢于 AWQ/GPTQ。你的目标是跑通而不是极限压速度，建议先走 GGUF。

以 llama.cpp 为例，量化命令骨架如下：

# 先把模型转成 f16 GGUF 文件
python convert_hf_to_gguf.py <模型目录> `--outfile` model-f16.gguf

# 再量化为 q4_k
./quantize model-f16.gguf model-q4_k.gguf Q4_K

如果一定要用 AWQ，可以用 AutoAWQ 的量化入口，具体参数以工具版本为准：

python -m awq.quantize `--model`_path <模型目录> `--output`_path ./awq-4bit `--bits` 4

注意，以上命令是通用骨架，量化工具对模型架构有要求，需要先查该工具是否支持目标模型。

执行模型量化并记录文件大小变化

量化命令执行完，先别急着加载，用 ls -lh 查看原始模型目录和量化后文件的体积。原始 HF 模型可能是多个 shard 文件，量化后可能是单个文件。文件大小直接决定是否可以塞进显存，但只作参考，因为加载时的临时缓存和激活也会占用显存。

ls -lh original_model/
ls -lh quantized_model/

建议同时用 du -sh 对目录整体体积做记录。量化时如果工具提示需要校准集，尽量用与后续推理场景相近的输入样本。如果模型是 diffusion 类型，校准数据可以是一组代表性的文本或图像 embedding，具体输入格式需要对照脚本要求。

加载量化模型并设置低显存模式

加载量化模型时不能再用原始权重的方式硬塞。以 HuggingFace Transformers 生态为例，GPTQ 或 AWQ 量化后的模型可以直接指定 device_map="auto"，让框架把能放 GPU 的层放 GPU，放不下的留在 CPU。示例：

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "./model-gptq-4bit",
    device_map="auto",
    torch_dtype="auto"
)

如果你拿到的还是原始模型，但用了 bitsandbytes 的 4-bit 加载，就再加 load_in_4bit=True：

model = AutoModelForCausalLM.from_pretrained(
    "./original_model",
    device_map="auto",
    load_in_4bit=True
)

如果模型不是因果语言模型，上面的 AutoModelForCausalLM 就不适用，需要换成对应的加载类，但 device_map 和 max_memory 参数在 Transformers 中是通用的。也可以显式指定显存预算：

max_memory = {0: "4000MB", "cpu": "16GB"}
model = AutoModelForCausalLM.from_pretrained(
    "./model-gptq-4bit",
    device_map="auto",
    max_memory=max_memory
)

对于 GGUF，llama.cpp 的加载参数是 -ngl，表示把多少层放到 GPU，例如 -ngl 20。

实测推理速度与显存占用并记录

不同量化位宽之间要横向比较，必须固定输入长度、输出长度、batch size 和采样参数。写一个只做一次前向推理的脚本 infer.py，然后用 time 命令记录总耗时：

time python infer.py

显存峰值需要另开一个终端记录，最简单的办法是循环采样：

nvidia-smi `--query-gpu`=memory.used `--format`=csv -l 1 > memory_log.csv

推理结束后，从日志中取最大 memory.used 值。注意同时记录本轮用的是哪个量化文件，以及模型的 batch size 和生成长度。然后把结果整理成对比表，表头建议这样设：

这个表只是记录格式，具体数值需要你在本机跑出来。建议每种位宽跑三次取中间值，避免系统波动影响判断。如果你发现某个位宽下显存峰值接近可用上限，就需要降低位宽、减少 batch size 或减小输入长度，直到留出足够余量。