要在本地部署 27B 级别的模型，显存规划的核心不是先选卡，而是先用 27B 这个参数规模乘以每参数占用的字节数，算出一个下限。这个下限决定你必须在哪个量化级别上做选择；再把上下文长度、并发数和运行开销加进去，才能判断一张卡够不够。

本地部署 27B 模型前，先用「参数量（B）× 每参数字节数」估算权重显存：BF16/FP16 约 54GB，INT8 约 27GB，INT4 约 14GB。这只是起点，峰值显存还要叠加 KV cache 和运行开销，必须用实际加载脚本测一遍。量化会改变输出质量，建议从所需质量倒推量化级别，并预留少量显存余量；具体值以目标环境 nvidia-smi 读数为准。

先从模型参数与数据类型推算基础权重显存

权重显存的换算公式是：权重显存（GB）≈ 模型参数量（Billion）× 每参数字节数（Bytes）。27B 模型在 FP16/BF16 下每参数占用 2 字节，约 54GB；INT8 下每参数 1 字节，约 27GB；INT4 下每参数约 0.5 字节，约 13.5GB。这里保留「约」字，是因为模型结构里还有 embedding、LayerNorm 等额外参数，实际会略高于纯参数乘出来的结果。

加载方式不会改变权重总量，但会改变显存占用位置和实际大小，按三种情况调整估算：

• 直接用 transformers 以 FP16 加载，权重按 2 字节进入显存，预算直接用 54GB 起步；
• 用 bitsandbytes 的 4-bit 加载，权重按 0.5 字节存储，但模型内部会保留反量化临时张量，显存会比 13.5GB 略高；
• 用 GGUF 分片配合 mmap 时，未访问层可能留在系统内存，显存峰值取决于同时驻留的层数，做预算仍按全部层驻留估算会更稳妥。

用实际加载脚本测出峰值显存占用

估算值只能作为选卡下限，真实峰值必须以加载脚本实测为准。先把下面的最小骨架保存为 memtest.py，替换模型路径后运行：

import torch
import time
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = '/data/models/qwen-27b'  # 换成真实本地路径
torch.cuda.empty_cache()
tok = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map='cuda',
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True
)
inputs = tok('北京天气', return_tensors='pt').to('cuda')
_ = model.generate(**inputs, max_new_tokens=8)
time.sleep(60)  # 保持进程，便于另一个终端读取显存
print('loaded')

运行时在另一终端执行 watch -n 1 nvidia-smi，或 nvidia-smi `--query-gpu`=memory.used,memory.free `--format`=csv -l 1 持续刷新。取脚本运行期间 memory.used 的最大值作为峰值显存；如果生成瞬间显存冲高，应把那段计入预算。最后用这个峰值减去系统里其他进程占用，就是该模型实际需要的显存。

对比不同量化精度的显存与输出变化

量化级别决定权重显存的大小，也直接影响输出质量。27B 模型常见选择如下：

验证方法是固定测试输入和生成参数：同一段 prompt、同一组采样参数（temperature=0、max_new_tokens 相同），在三个量化级别下各跑一次，记录输出文本与峰值显存。如果业务是抽取或分类，把输出转成结构化字段后逐条对比；如果业务是对话，按语义是否跑偏做主观判断。建议挑业务中最容易出错的几类输入分别对比，不要只看总分。

结合业务场景确定最低可行显存配置

拿到估算值和实测值后，按下列清单逐项判断：

1. 用 nvidia-smi `--query-gpu`=memory.total,memory.free `--format`=csv 确认机器可用显存总量；
2. 按需求从 INT4、INT8、FP16 中选一个候选精度，用公式算权重显存；
3. 以 1k 上下文（按业务实际长度调整）跑一次脚本，记下 KV cache 与权重叠加后的显存峰值；并发数增加时，KV cache 部分近似按「上下文长度 × 并发数」扩展；
4. 确认实测峰值后，再留出 1-2GB 的生成缓冲，得到推荐最低显存；
5. 用同输入跨量化级别对比输出，确认该精度下业务可用；
6. 如果生成速度或并发不足，优先缩短上下文长度或降低并发数，再考虑继续压低量化位宽。

这个清单的边界在于：INT4 输出仍不达标的场景，说明硬件上限已经触到，继续调低量化只会让质量继续下滑。此时需要回到显存预算这一步，要么换更大显存设备，要么接受缩短上下文后的输出。