LingBot-Vision 部署时显存不够，可以先尝试INT8/INT4量化。量化能减少显存占用，但输出会变化。判断量化能否采用，要同时记录量化前后的显存峰值，并在自己的业务图片上对比输出。只有显存降下来、输出差异也可接受，才把量化版本固定。

适用场景：LingBot-Vision 在FP16下显存超限或接近上限。操作动作：用GPTQ/AWQ导出量化版，在相同输入下记录显存峰值，并用业务评测集对比输出。验证方式：显存对比表加输出相似度，再配合人工检查。风险边界：量化后输出可能偏离业务语义，关键任务上需保留回退FP16的切换路径。

导出或加载量化版本模型

先确认LingBot-Vision在量化格式下能完整加载、不报错。如果加载时就丢层或提示不支持的算子，后续显存和精度对比都没有意义。

以GPTQ为例，如果模型仓库里已有量化权重，加载方式类似：

from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM

model_path = '/data/model/lingbot-vision-gptq-int4'
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoGPTQForCausalLM.from_quantized(
    model_path,
    device='cuda:0',
    use_safetensors=True,
    disable_exllama=False,
    low_cpu_mem_usage=True
)

如果用的是AWQ量化权重，加载骨架换成：

from awq import AutoAWQForCausalLM

model = AutoAWQForCausalLM.from_quantized(model_path, device='cuda:0')

LingBot-Vision如果同时包含视觉编码器，加载后需要用一张小图、一段提示词做一次完整推理，确认图像特征能正常进入语言模型。加载时把日志级别调到INFO，重点看有没有'quantized model loaded'、算子替换警告或Shape不匹配的报错。日志里出现大量'fall back to FP16'时，说明量化权重没有被完全使用，后续显存对比失效。

记录量化前后的显存占用

显存占用要记录“推理过程中的显存峰值”，不能只看模型加载后的驻留值。建议在相同输入下，分别对FP16和量化版本跑同一段生成流程，用nvidia-smi连续采样。

python track_memory.py `--model`_path /data/model/lingbot-vision-fp16 `--image` test.png `--prompt` '描述图片内容'
python track_memory.py `--model`_path /data/model/lingbot-vision-gptq-int4 `--image` test.png `--prompt` '描述图片内容'

track_memory.py内部可以在生成前启动一个线程，每秒执行一次：

subprocess.run(['nvidia-smi', '`--query-gpu`=memory.used', '`--format`=csv', '-l', '1'], stdout=file)

也可以直接用：

nvidia-smi `--query-gpu`=memory.used `--format`=csv -l 1 > mem_quant.txt

记录完成后，把每次推理采样到的最大值减去空闲显存，整理成对比表：

注意：多测两张不同分辨率的图，因为视觉模型的显存会随图像尺寸波动。对比时保持batch size=1、同一个prompt、同样关闭梯度计算。

选择业务相关评测集进行精度对比

显存占用不是唯一决策依据。量化会让输出文本与FP16有差异，差异是否可接受，要用业务图片验证。

从业务场景里选一批有代表性的图片，数量少没关系，但每张要能对应一个明确判断标准。比如OCR识别、物体计数、指代理解、结构化信息提取，每个场景至少给一个期望结果。把FP16的输出和量化版的输出按图片编号保存成两个文件。

{
  'img_001': {
    'prompt': '图片里有哪些可操作按钮？',
    'fp16': ' ... ',
    'quant': ' ... '
  }
}

运行方式：先跑FP16保存结果，再加载量化版跑同一批输入。如果两版模型不能同时装进显存，就分两次执行，用磁盘保存中间结果。

分析差异并决定是否回退精度

拿到输出后，先做文本相似度计算。虽然没有统一阈值，但可以先用编辑距离或BLEU做排序，把差异最大的样本拿出来看。更关键的是人工评估：把两版输出放在一起，按业务标准打“对/错/部分错”。如果量化版在关键字段上出错，比如价格、数量、人名识别错误，即使相似度很高也要谨慎。

建议先确认以下几点：

1. 量化版的输出是否仍然遵循提示词中的格式要求。
2. 是否出现乱码、重复循环、突然中断。
3. 对同一张图片多次推理是否稳定。

如果显存降下来了，但输出中出现上述任一问题，或者量化版在业务评测集上的可用率低，就回退FP16。回退步骤：

# 把推理脚本中的model_path切回FP16权重
model_path = '/data/model/lingbot-vision-fp16'
# 删除缓存目录，避免旧量化配置残留
rm -rf ~/.cache/huggingface/transformers/*

回退后如果显存依然不够，需要先优化数据管线或减少并发，而不是把量化当作唯一手段。量化只是“可逆的临时措施”，回退路径要一直保留。