开源大模型本地部署显存不够怎么办

文章导读
显存不够时,先分清是哪一种“不够”:模型权重加载阶段就 OOM、能加载但长上下文或并发一上来就爆、还是能跑但速度慢到没法用。三种情况的处理顺序完全不同,直接换显卡往往是最后一步。比较通用的路径是:先降低权重精度和 KV cache 占用,再控制上下文与并发,然后把一部分层卸载到内存,最后才考虑多卡或更换模型。
📋 目录
  1. 壹 先确认当前场景和目标
  2. 贰 按这个顺序处理
  3. 叁 改完后怎么验证
  4. 肆 容易忽略的边界
A A

显存不够时,先分清是哪一种“不够”:模型权重加载阶段就 OOM、能加载但长上下文或并发一上来就爆、还是能跑但速度慢到没法用。三种情况的处理顺序完全不同,直接换显卡往往是最后一步。比较通用的路径是:先降低权重精度和 KV cache 占用,再控制上下文与并发,然后把一部分层卸载到内存,最后才考虑多卡或更换模型。

判断显存是否真的不够,先确认模型参数量、权重格式、上下文长度和并发数这四个变量,再用“参数量×每参数字节”粗算权重下限并预留余量。处理顺序建议:量化权重→压缩 KV cache→缩短上下文与并发→CPU 卸载部分层→多卡并行→换更小模型。每一步都要用 nvidia-smi 和实际请求验证是否不再 OOM,并接受卸载带来的速度下降,因为它只是让模型跑起来的一种权衡,并不等于性能提升。

先确认当前场景和目标

显存不足这个判断要成立,需要先排除几种“假不足”:显卡被其他进程占用、容器里看不到完整显存、驱动或 CUDA 版本与推理框架不匹配导致初始化失败、模型下载成了非量化版本。这些情况下,调整参数就没有意义。

可以先记录下面这几项,它们决定后面能选哪些手段:

  • GPU 型号与单卡显存,是否有其他进程常驻占用。
  • 模型参数量与权重格式:fp16/bf16、GGUF 的 Q4/Q5/Q8、AWQ/GPTQ 的 int4 等。
  • 推理框架及版本:llama.cpp、Ollama、vLLM、Transformers 等,各自支持的量化格式不一样。
  • 业务需要的上下文长度和并发请求数,这两个是 KV cache 的主要来源。
  • 可用的系统内存大小,决定 CPU 卸载的余量。

做一个粗略下限估算:权重显存约等于参数量乘以每参数字节数,fp16 约 2 字节,int8 约 1 字节,int4 约 0.5 字节。比如 7B 模型 fp16 权重约 14GB,int4 约 3.5GB 到 4GB,再叠加量化元数据。这个数只是下限,KV cache、激活值和框架预留会让实际占用更高。目标是让加载后的显存留有可见余量,通常建议长期占用不超过总显存的八成到九成,给长请求和碎片留空间。

按这个顺序处理

建议按下面的顺序逐项尝试,每改一项就单独验证,不要一次改多个变量,否则出问题时很难定位是哪一步导致的。

1. 先换更小的权重精度

同样的模型,Q4 或 int4 量化通常能把权重占用压到 fp16 的三成左右,这是最直接的一步。llama.cpp 和 Ollama 适合 GGUF,vLLM 适合 AWQ/GPTQ。下面这段 llama.cpp 启动命令可以替换模型路径、层数和上下文长度后直接执行:

./llama-cli -m ./models/your-model-q4_k_m.gguf \
  -ngl 20 \
  -c 4096 \
  -ctk q8_0 -ctv q8_0 \
  -b 512 \
  -p "你好,简单介绍一下你自己"

其中 -ngl 表示卸载到 GPU 的层数,-ctk/-ctv 是 KV cache 的量化类型,-c 是上下文长度。可以先把 -ngl 设小一点保证不 OOM,再逐步往上加。

2. 压缩 KV cache 并限制上下文

长上下文场景下,KV cache 往往比权重更占地方。可以把上下文从 32K 降到 8K 或 4K,把并发批次降到 1 到 2,并开启 KV cache 量化。Ollama 可以用 Modelfile 固化这些参数:

FROM your-model:7b-instruct-q4_K_M
PARAMETER num_gpu 20
PARAMETER num_ctx 4096
PARAMETER num_batch 512

这些参数需要结合模型和显卡调整,num_gpu 过大会 OOM,过小会明显变慢。

3. 把部分层卸载到 CPU

显存实在不够时,可以让一部分层留在内存里由 CPU 计算,其余放到 GPU。这是 llama.cpp 的强项,vLLM 也支持一定程度的 CPU offload,但代价通常是生成速度下降。卸载比例要靠试:先卸载一半层,看显存是否稳定,再看速度能否接受。

开源大模型本地部署显存不够怎么办

4. 换框架或多卡

如果单卡怎么调都装不下,而机器有多张卡,可以改用张量并行。vLLM 的启动参数大致如下,需要替换模型路径、并行卡数和显存占用上限:

python -m vllm.entrypoints.openai.api_server \
  --model /models/your-model-awq \
  --quantization awq \
  --dtype half \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.85 \
  --tensor-parallel-size 2

张量并行要求各卡显存规格接近,卡间通信也会影响实际速度。如果多卡也不够,再考虑换参数量更小的模型,或者把这类请求交给外部 API 处理。

改完后怎么验证

验证不要只看“能不能启动”,要覆盖加载、单请求、长上下文和短时并发四种情况。可以先开一个终端持续观察显存:

nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu --format=csv -l 1

然后依次做这几件事:

  1. 加载模型后看显存占用是否稳定,是否还有明显余量。
  2. 发一个短请求,记录是否正常返回、首 token 延迟大概多少。
  3. 发一个接近上限的长上下文请求,看是否 OOM 或报 KV cache 相关错误。
  4. 按预期并发数同时发几个请求,观察显存是否持续爬升不回落。
  5. 查看推理框架日志里的 offload 层数、上下文长度、量化类型是否与预期一致。

预期信号是:显存占用在加载后趋于平稳,长请求和并发请求不再触发 OOM,生成速度虽然可能比满血 GPU 慢,但落在你能接受的范围内。如果显存不爆但 CPU 占用长期打满、出词明显卡顿,说明卸载比例过高,需要回调 -ngl 或缩短上下文。验证时要区分“跑起来了”和“够用了”,前者只需要不报错,后者要看实际请求的响应表现。

容易忽略的边界

量化格式和框架是一一对应的,GGUF 不能直接喂给只认 AWQ 的 vLLM,反过来也一样。int4 权重在部分较老的显卡上可能没有高效的计算内核,能加载但速度反而更差,这类情况需要结合具体显卡架构确认。

KV cache 量化会带来一定的精度损失,对长文档问答、代码生成这类任务要单独评估输出质量,不要只看显存降了多少。多卡张量并行要求各卡型号和显存接近,混插不同规格的卡容易在初始化阶段就失败。驱动和 CUDA 版本与推理框架不匹配时,报错往往是显存相关的假象,需要先排除版本问题。

把层卸载到 CPU、开启系统 swap、依赖共享显存,都属于让模型先跑起来的临时手段,不应被当成性能方案;这类配置下延迟会明显上升,不适合对响应时间敏感的场景。容器或 WSL 环境里,nvidia-smi 显示的显存可能和宿主机其他进程的占用叠加,需要确认看得见全部占用。回退建议是:如果量化加卸载后速度和效果都不达标,优先缩短上下文、降低并发,再考虑换更小的模型或改用外部 API,而不是继续在单卡上叠加临时参数。