Qwen2-VL 的视觉编码器显存占用高,大多数场景下不是 SigLIP 权重本身占了多少,而是输入图被切成的视觉 token 数量太多。视觉 token 会继续进入 LLM 的 attention 计算和 KV cache,开销随像素增加得很快。调优的核心是用处理器提供的 min_pixels / max_pixels 限制进入模型的分辨率上限,而不是优先量化视觉编码器权重。以下按可执行步骤整理。
先确认显存花在哪个阶段
不要一上来就调参数。先跑一次只带单张图片的最小推理,观察 nvidia-smi 中的进程显存。如果峰值出现在图片 token 进入 attention 之后,压像素参数才有意义;如果峰值出现在长文本生成阶段,需要调整的是上下文长度、批大小或生成参数。
视觉编码器权重本身不建议做低比特量化。Qwen2-VL 的图像特征在低比特下容易劣化,而且这部分权重在总显存里不是主要增量,优先控制 token 数量更有效。
调整 min_pixels / max_pixels 压住视觉 token
处理器通过 min_pixels 和 max_pixels 控制图像缩放后的像素范围,每个 28×28 像素块约对应一个视觉 token。max_pixels 越小,视觉 token 越少。
from transformers import Qwen2VLProcessor, Qwen2VLForConditionalGeneration
import torch
model_id = "Qwen/Qwen2-VL-7B-Instruct"
processor = Qwen2VLProcessor.from_pretrained(
model_id,
min_pixels=320 * 320,
max_pixels=1024 * 1024,
)
model = Qwen2VLForConditionalGeneration.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
attn_implementation="sdpa",
device_map="auto",
)
先从 max_pixels=1024*1024 试起,显存仍然紧就降低到 768*768 或 512*512。min_pixels 保持较低值,避免把本就不大的图强行放大,放大反而会让视觉 token 增加。若用 vLLM 部署,像素上限一般存在模型 config.json 的 min_pixels / max_pixels 字段中,修改后重启服务,并在启动日志确认新值已生效;部分版本允许请求级覆盖,需要结合你安装的版本确认。
配合调整加载参数和图片数量
加载时把 dtype 明确设为 bf16 或 fp16,并启用 sdpa 或 flash_attention_2(需要环境已装 flash-attn),减少注意力临时显存。不要用 fp32。
同一个请求里的多张图会累加视觉 token,多图任务尽量拆分请求,或在服务端限制每请求的图片数量。图片数量限制与视觉编码器本身无关,但对峰值显存的影响往往比单张图压缩更直接。
用 token 数和显存变化验证
调整配置后,用同一张测试图分别打印处理后的 token 数。可以在加载后直接看 input_ids 长度:
inputs = processor(text=[text], images=["test.png"], return_tensors="pt")
print("prompt token count:", inputs["input_ids"].shape[1])
拿到 prompt token count 后,再跑一次完整生成,用 nvidia-smi 观察峰值显存。相对调整前有明显下降,且生成结果没有明显变差,说明当前参数可用。如果输出明显偏离原图内容,是压缩过头的信号。
效果下降时回退
OCR、文档截图、小字说明这类任务对分辨率敏感。发现识别或描述变差后,把 max_pixels 逐档上调,例如 1024*1024 到 1280*1280 再试,直到显存和效果都能接受。注意 min_pixels 不要跟着调高。
如果显存仍然不够,先判断是视觉 token 多,还是生成阶段的 KV cache 多。后者应通过缩短生成长度、降低并发、更换更小模型或量化 LLM 部分来解决,不要再压图像分辨率。