CPU 环境下用 llama.cpp 跑 Qwen2.5,没有一组放之四海的“最优线程数和 batch size”。两个参数共同影响提示处理和解码阶段:线程数(-t)决定并发计算资源,batch size(-b)决定每次处理的 token 数量,但它们的收益都受 CPU 核心数、内存带宽、模型量化格式限制。因此本页给出一套可复现的对比测试流程,让你在当前机器上找到相对可用的组合。先固定模型和参数精度,再逐个改变 -t 和 -b,最后以日志中稳定的 tokens/s 为准判断。如果你需要一个起点,可以先从 -t 等于物理核心数、-b 等于 128 开始,再逐个调整这两个参数。
前置条件:固定模型与机器状态
- 确认 CPU 物理核心数与超线程状态:执行
lscpu,查看CPU(s)、Core(s) per socket和Thread(s) per core。后续测试的线程数上限建议以物理核心数为参考,而不是逻辑线程数。 - 准备同一个 Qwen2.5 GGUF 文件。测试期间不要更换模型或量化格式,否则不同结果无法对比。
- 确认 llama.cpp 命令可用:执行
llama-cli `--version`。如果命令不在 PATH,请先安装或设置别名。 - 关闭其他高负载进程,避免干扰 token 生成速度。
配置/安装:准备最小测试命令
llama.cpp 的命令行参数中,-t 指定线程数,-b 指定 prompt 处理时的 batch size。下面是一条可运行的最小命令,请替换模型路径、提示词和期望生成 token 数。
llama-cli -m Qwen2.5-7B-Q4_K_M.gguf -p "请用一句话介绍杭州" -n 64 -t 4 -b 128运行后,输出信息会包含 prompt eval time(提示处理耗时)和 eval time(生成耗时)。本次测试只修改 -t 和 -b,其他参数保持不变,才能判断这两个参数对速度的影响。
验证:执行组合对比测试
建议写一个 bash 循环批量跑不同组合,把结果追加到日志文件里。下面脚本遍历 3 个线程数和 3 个 batch size,共 9 组。请根据你的 CPU 核心数调整线程数列表,batch size 通常从 64 或 128 开始。
for t in 2 4 8; do
for b in 64 128 256; do
echo "=== t=$t b=$b ===" >> bench.log
llama-cli -m Qwen2.5-7B-Q4_K_M.gguf -p "请用一句话介绍杭州" -n 128 -t $t -b $b 2>&1 | grep -E "prompt eval time|eval time" >> bench.log
sleep 3
done
done每组组合建议运行 2-3 次,取相对稳定的值。因为 CPU 频率和系统负载会有波动,单次结果可能不准确。判断标准是 prompt eval time 和 eval time 的平衡,不是单看某一项。如果使用 llama-server,参数含义相同,但输出界面不同,本页的命令行测试方法更直接。
判定与回退
当线程数超过物理核心数时,性能不会继续提升,反而可能因调度开销下降。建议从物理核心数的一半开始,逐步增加到物理核心数。如果发现增加线程数后生成速度没有变化或变慢,就回退到上一档。
batch size 主要影响提示处理。如果增大 batch size 后提示处理时间没有下降,或者直接出现内存不足、交换分区被使用,说明当前值已经超出可用内存。此时应降低 batch size,或换用更小量化格式的模型。若 llama-cli 报错,例如无法分配内存,优先减小 -b,再尝试减小 -t。
记录每组组合的结果,最后选一组在提示处理和生成速度上都可接受的配置。例如长文档处理更看重 prompt eval time,多轮对话更看重 eval time,侧重点不同,最优组合也可能不同。不要把“看起来并行度高”当成最终选择,一切以日志速度为判断依据。如果日志中的时间是毫秒,可以直接比较同一指标,不需要手工换算。