想本地运行零一万物开源模型，第一步不是下模型，而是先确认手里的显卡显存能不能装下权重和推理缓存。显存规划的核心变量只有两个：模型参数量、量化位宽。搞清楚这两项后，用公式做一次手工估算，再对照显卡显存就能判断是单卡、换卡还是多卡并行。

本地部署零一万物模型前，先按参数量×每参数字节数×量化系数+推理缓存估算显存。7B模型FP16通常需要约18-20GB总显存，INT8约11-13GB，INT4约7-9GB。建议先下载模型文件确认量化档位，再用公式计算，最后对照显卡显存做选择。若单卡装不下，优先考虑换更大显存显卡，多卡并行需评估主板PCIe带宽和互联开销。

确认目标模型规模与量化档位

零一万物开源模型有不同参数量级，常见范围从几B到上百B。参数量直接决定权重占用，量化位宽则决定每个参数用几个字节存储。通常FP16（半精度）每参数占2字节，INT8占1字节，INT4约0.5字节但实际会有额外结构和校准开销，可按0.6-0.7字节估算。

从模型文件名可以识别量化档位：包含 fp16 或 bf16 的是半精度格式，包含 int8 或 awq 的是8位量化，包含 int4 或 gptq 的是4位量化。不同框架对同一模型的命名可能有差异，下载前先确认文件名中的量化标识，或者查看模型卡里的说明。不要凭印象选量化档位，否则显存估算会偏差很大。

用显存公式做初步估算

使用以下公式手工计算所需显存：

显存需求 ≈ 参数量(GB) × 每参数字节数 × 量化系数 + 推理缓存

参数量（以字节计）可以按模型参数量（B）×10^9计算。量化系数：FP16取2，INT8取1，INT4取0.6。推理缓存用于存放中间激活值、KV cache和运行时开销，通常预留4-8GB，具体取决于上下文长度和批次大小。

示例：7B模型使用FP16，参数量约7×10^9，权重占用约14GB，加上推理缓存6GB，总需求约20GB。若同一模型使用INT8，权重约7GB，总需求约13GB。14B模型FP16权重约28GB，总需求约34GB。建议在实际部署时用 nvidia-smi 监控显存占用，再微调缓存预留值。

对照常见显卡的可用显存

常见消费级显卡的显存多在8GB、12GB、16GB、24GB几个档位。8GB适合INT4量化的小参数模型（如7B以下），12-16GB可跑7B的INT8或INT4，24GB可跑14B的FP16或更大模型的量化版。专业卡如A100、H100可达40GB至80GB，适合单卡跑较大模型。

显存带宽同样影响推理速度。带宽越高，每轮推理读取权重越快。专业卡通常配备HBM高带宽显存，消费级显卡多用GDDR6或GDDR6X。即使显存容量相同，带宽差异也会导致推理速度明显不同。选购时除了看容量，也建议对比带宽参数，但这需要结合具体硬件环境确认，不展开硬指标。

按部署场景决定单卡或多卡

当单卡显存不够时，优先考虑换一张更大显存的显卡，因为单卡部署最简单，没有通信开销，稳定性也更好。如果换卡成本过高或目标模型确实很大，才考虑多卡并行。

多卡张量并行会把模型权重切分到多张卡上，推理时每张卡持有部分权重，并频繁交换中间结果。这种并行方式要求卡间通信带宽足够高，通常依赖NVLink或PCIe。消费级主板上多卡安装往往受PCIe通道数限制，且多张卡通过PCIe交换数据的速度远低于NVLink，容易成为瓶颈。

多卡方案还有额外的显存分配开销：除了权重，每张卡都要留出足够缓存存放本机分片和通信数据。建议采用多卡部署时预留比单卡公式更高的缓存余量。对于普通开发者，如果模型超过单卡可承载范围，更可行的路径是使用量化版本或选择更小的模型，而不是直接上多卡。