llama.cpp 的 `--batch-size` 参数常被当成并发请求数来用,但它实际控制的是底层一次前向传播能并行处理多少条独立文本序列。调这个参数不能只看启动日志,要根据负载和硬件余量来做判断。下面是我在本地模型服务中调整 batch-size 时的一些操作记录,涉及适用场景、设置确认、对照验证和容易混淆的边界。
先判断负载适不适合批处理
在开启batch-size参数之前,先要确认当前负载是否适合批处理。如果用户请求多、单条prompt较短,且相互独立,那么批量处理能明显减少重复的模型初始化开销。反之,如果只有少量长对话,批处理可能因为KV cache占用过大而触发显存不足,收益反而下降。判断时可以从请求队列长度、平均token数以及并发数入手,若平均长度远小于上下文窗口,且同一时刻有多条请求堆积,就值得尝试batch-size参数。
所以第一步不是急着加大数值,而是先看服务端日志里有没有请求排队,请求的 prompt 长度分布怎么样。如果队列经常是空的,即使设了 batch-size 也未必每次都能拼满。更常见的做法是先跑一个小规模的压测脚本,模拟多条短请求同时到来,观察能否触发批处理。
设置参数并确认加载
使用llama.cpp时,可以在启动服务或命令行推理中直接设置`--batch-size`,这个值表示每次前向传播最多处理的token序列数。需要注意,该参数与请求并发数不同,它决定的是底层一次计算能并行处理多少条独立文本。实际使用时,建议将batch-size设置为与期望的并发请求数相近,再配合`--threads`调整CPU或GPU的负载,否则可能出现参数已设置但实际并未生效的情况。修改后应通过日志中类似prompt batch size的输出来确认配置被加载。
以 llama.cpp 自带的 server 为例,可以这样启动:
./server -m ./model.gguf \
`--batch-size` 8 \
`--n-parallel` 4 \
`--threads` 8 \
`--port` 8080这里 `--batch-size` 8 表示底层一次前向传播最多并行处理 8 条序列,`--n-parallel` 4 表示同时服务 4 个用户请求。两者数值不要求完全一致,但 batch-size 至少要大于或等于 n-parallel,否则某些请求还是会被拆成串行处理。启动后,注意看日志里有没有类似 prompt batch size 的行,有说明配置被加载;要是没有,优先检查 llama.cpp 版本是否支持,或者是不是有环境变量覆盖了默认值。
验证吞吐量要用对照测试
要验证batch-size是否真正提升了吞吐量,不能只看启动日志,需要在相同输入条件下做对照测试。准备一组固定长度的多条提示,分别以batch-size为1和更大的值运行,记录完整处理时间或每秒生成的token数。注意保持随机种子、模型加载方式和硬件环境一致,否则结果不可比。更可靠的做法是利用llama.cpp自带的perplexity或stress工具,它们能输出每token平均耗时,便于观察批量处理是否带来了线性或超线性提升。如果数值变化不明显,可以检查是否开启了prompt缓存的干扰。
用 llama-perplexity 做基准对比时,可以这样跑两组命令:
# 基线:batch-size = 1
./llama-perplexity -m ./model.gguf `--batch-size` 1 -f ./test.txt
# 对比:batch-size = 8
./llama-perplexity -m ./model.gguf `--batch-size` 8 -f ./test.txt这个工具会输出每个 token 的平均耗时,两组对比就能看出前向传播阶段有没有提速。注意这个过程只测了单条 prompt 的序列,实际服务场景还要考虑多用户同时请求;所以更接近生产的方式是用脚本同时发出多个请求,观察服务端日志里是否出现同一批次包含多个 prompt 的记录。如果对比结果没有变化,先检查是否开了 prompt 缓存选项,它会掩盖 batch-size 带来的差异,也可能把结果搅乱。
边界和容易混淆的概念
batch-size并非越大越好。每条待处理序列都会独立占用KV cache,其大小随上下文长度线性增长,因此batch-size乘以单条最长上下文才是峰值显存需求。以保守方式估算,若模型支持的最大上下文为4096,batch-size设为8时,KV cache总量可能达到单条会话的8倍,超过硬件极限就会触发OOM或严重换页。建议从2或4开始,逐步增大并观察内存占用和吞吐量曲线。若吞吐量在某个值后停止增长甚至下降,说明已经触碰硬件瓶颈,此时应当回退到上一个稳定值。
还有一个容易忽略的坑:`--n-parallel` 和 `--batch-size` 不是同一个东西。`--n-parallel` 决定同时处理多少条用户请求,而 batch-size 对于每条请求内又可以进一步拆分 token 批次。如果只设置了 `--n-parallel` 而没有设置 `--batch-size`,或两者数值不匹配,实际推理时可能仍按单条序列串行处理。另外,某些量化版本或特定后端(如 Metal、CUDA)对 batch-size 的优化程度不同,参数可能被接受但不生效。修改参数后,最好用一个小脚本同时发出多个请求,观察服务端是否真正出现批处理行为,例如日志中同一批次包含多个 prompt。
调优时,建议先固定 prompt 长度,以默认值为基准,然后按 2 的倍数递增。每提升一档,除了记录吞吐量,还要观察首 token 延迟和生成阶段速度,因为批处理主要加速 prompt 处理阶段,对 token 生成阶段可能没有明显帮助。如果目标场景是流式输出,也需要注意批处理是否引入了额外的等待时间。新版 llama.cpp 支持动态 batch-size,可让程序根据当前队列长度自动调整大小,但旧版本只接受静态值,升级前先确认功能是否存在。
到这里,batch-size 的验证思路算是闭环了:先确认负载是否适合,再设置参数并确认日志加载,然后做对照测试,最后从小到大地找边界。每一步都依赖具体的 llama.cpp 版本和硬件环境,所以数字本身不重要,重要的是保持观察方法和回退条件清晰。如果你在某个 batch-size 下发现吞吐量不再增长,甚至是下降,先回退到上一个稳定值,再考虑是不是后端优化不支持这个参数。