Q4 和 Q8 的区别不在“哪个更先进”,而在两件事:你的显存/内存能不能把更大的文件装下,以及你的任务对输出退化有多敏感。一般先算预算再选等级:预算紧、任务以日常问答和摘要为主,Q4_K_M 通常是起点;预算够、任务涉及代码、结构化抽取、长链推理或数字计算,往 Q5_K_M、Q6_K、Q8_0 走更稳。Q8_0 与 F16 的输出差异通常很小,但它省下的显存也有限;Q4 体积明显更小,代价是长尾能力先掉。
选 GGUF 量化等级,先确认三件事:模型参数量与上下文长度决定显存占用,任务类型决定容错度,运行时版本决定能加载哪些量化类型。操作上建议从 Q4_K_M 起步,用同一组 prompt 和采样参数与 Q6_K 或 Q8_0 对比,看长文抽取、代码补全、数字计算是否出错。验证靠实际加载日志、tokens/s 和同输入输出对比,不能只看文件大小。边界是:小模型、embedding 模型、MoE 模型对量化更敏感,长上下文场景 KV cache 往往比模型权重更吃显存,显存不够时优先降等级或缩上下文,而不是靠 swap 硬撑。
先确认当前场景和目标
“Q4 够不够”这个问题只在具体环境下才有答案。先把手头信息列清楚,再谈等级:
- 模型规模:参数量直接决定文件体积量级,7B 和 70B 的选法完全不同。
- 可用显存或内存:要同时装下模型权重、KV cache 和运行时开销,三者不能只算第一项。
- 上下文长度:ctx 开得越长,KV cache 占用越大,留给权重的余量越小。
- 任务容错度:闲聊、改写对细节不敏感;代码生成、JSON 抽取、多步计算对格式和准确性敏感。
- 推理后端:llama.cpp、Ollama、LM Studio 等对量化类型的支持随版本变化,先确认能用哪些。
体积可以自己估:文件大小 ≈ 参数量 × 每权重比特数 ÷ 8。常见等级大致对应 Q4_K_M 每权重 4~5 bit、Q5_K_M 约 5~6 bit、Q6_K 约 6~7 bit、Q8_0 约 8~9 bit、F16 为 16 bit。按这个公式算出来的数字再留一成余量给 KV cache 和运行时,比凭感觉选等级可靠。
按这个顺序处理
- 先算预算:用上面的公式估权重体积,加上 ctx × 每 token KV 开销,看剩余显存够不够。余量为负就降等级或缩 ctx,不要先下载再看。
- 按规模定起点:参数量较小的模型对量化更敏感,建议从 Q6_K 或 Q8_0 起;7B~14B 可以 Q4_K_M 起步,质量不够再升 Q5_K_M;参数量很大的模型优先考虑 Q4_K_M 甚至更低,并配合 imatrix 校准。
- 优先 K-quants 系列:同等体积下,Q4_K_M、Q5_K_M 这类混合量化通常比老式 Q4_0、Q4_1 更稳,尤其是小模型。除非运行时版本不支持,否则不必回到 _0 系列。
- 必要时做 imatrix 校准:用自己场景的文本(中文、代码或业务语料)跑一遍重要性矩阵再量化,能减少低比特下的明显退化。校准文本的语言和领域要和实际用法接近,否则偏差会带进模型。
- 固定变量做对比:下载两个等级,用同一套 prompt、同一 ctx、同一采样参数分别跑,不要一边测 Q4 一边改 temperature。
下面是加载、测速和困惑度检查的通用骨架,参数名随版本有变化,执行前先用 --help 确认:

# 加载并观察显存与加载日志
llama-cli -m ./model-Q4_K_M.gguf -c 4096 -n 256 -p "用三句话说明量化等级的影响"
# 同一文本上的困惑度对比,两份文件用完全相同的参数
llama-perplexity -m ./model-Q4_K_M.gguf -f ./eval-zh.txt -c 2048
llama-perplexity -m ./model-Q8_0.gguf -f ./eval-zh.txt -c 2048
# 测速,注意保持 prompt 与生成长度一致
llama-bench -m ./model-Q4_K_M.gguf -p 512 -n 128
改完后怎么验证
验证分三层,缺一层判断都容易偏:
- 能加载:看启动日志有没有量化类型告警,用
nvidia-smi或系统监控看实际显存占用是否接近预估。加载失败或占用远超预估,说明预算算错或运行时版本不匹配。 - 速度可接受:同一模型两个等级跑
llama-bench,或在客户端里看实际 tokens/s。Q8_0 通常比 Q4 慢、占用高,这是预期内的;如果 Q4 反而更慢,先查是否落到了 CPU 或磁盘换页。 - 质量没掉到不能用:准备一组固定任务,覆盖长文摘要、结构化抽取(要求输出 JSON)、代码补全、多步数字计算、多轮指令跟随,同 seed 同参数各跑一遍。预期信号是 Q8_0 与 F16 输出高度一致;如果 Q4 开始出现字段漏项、格式崩坏、算错数、答非所问,且重复出现,就是需要升级等级的明确信号。
困惑度可以作为辅助指标,但要看同一份测试文本上的相对变化,不要拿不同文本的数字横向比较。业务任务上的错误样例比单一指标更能说明问题。
容易忽略的边界
- KV cache 可能比权重更吃显存:长上下文场景下,把 ctx 从 4K 拉到 32K 带来的占用增长常常超过 Q4 换 Q8 的差值。这类场景优先缩 ctx 或考虑 KV 量化,而不是一味升权重等级。
- 小模型与专用模型更敏感:参数量小的对话模型、embedding 模型、部分 MoE 模型在低比特下退化明显,建议提高等级,embedding 场景宁可保持更高精度。
- 版本兼容:较旧的推理端可能不识别新的量化类型,加载报错时先升级运行时,其次才是回退到 Q4_0 这类老格式。
- 文件完整性:下载后核对哈希;量化文件不能跨模型复用,也不要混用不同来源的同名文件。
- 显存不足的回退顺序:先缩 ctx,再降量化等级,再减少并发;不建议用 swap 或内存换页来“撑住”加载,那会让推理慢到失去意义。
- 不适用条件:需要严格数值精度、长链数学推理或对输出格式零容忍的场合,低比特量化的结果不足以作为最终判断依据,应回到更高精度版本核验。