通过环境变量设置 OMP_NUM_THREADS 对 llama.cpp 并发请求的吞吐提升实验

文章导读
OMP_NUM_THREADS 直接控制 llama.cpp 里 OpenMP 线程池大小,影响单次推理的并行度,也可能改变并发请求的竞争方式。它不会自动提高吞吐,调法取决于 CPU 核数、请求并发数、模型大小和当前负载。通常,并发请求较多且 CPU 核心有限时,降低这个值反而能减少频繁的线程切换;但核心数富余、并发低时,保持较高的线程数更有利。以下实验思路可以帮助你在自己的机器上判断该设多少。
📋 目录
  1. A 前置条件
  2. B 设置 OMP_NUM_THREADS
  3. C 并发请求验证
  4. D 失败时回退
A A

OMP_NUM_THREADS 直接控制 llama.cpp 里 OpenMP 线程池大小,影响单次推理的并行度,也可能改变并发请求的竞争方式。它不会自动提高吞吐,调法取决于 CPU 核数、请求并发数、模型大小和当前负载。通常,并发请求较多且 CPU 核心有限时,降低这个值反而能减少频繁的线程切换;但核心数富余、并发低时,保持较高的线程数更有利。以下实验思路可以帮助你在自己的机器上判断该设多少。

前置条件

先确认 llama.cpp 的运行方式已经支持并发。服务器模式(llama-server 或 llama.cpp 的 server 子命令)需要在启动时开启并发槽位,否则请求会被串行处理,OMP_NUM_THREADS 的影响就和并发无关了。

  • CPU 核心数:通过 nproc 或 lscpu 查看可用的逻辑核心。
  • llama.cpp 构建:建议使用 Release 或更接近生产编译优化的构建,并确认没有其他负载干扰。
  • 启动参数:确认 server 启动参数中包含类似 `--parallel` 4 的并发槽位设置,数字根据你需要的并发请求数调整。
  • 测试工具:准备 curl、ab(Apache Bench)或自定义脚本,用于同时发起多个 HTTP 请求。

设置 OMP_NUM_THREADS

环境变量需要在 llama.cpp 进程启动前设置。对于单次启动,在 shell 中直接加上前缀即可;如果使用 systemd 或脚本,也需要在启动环境中注入。先从一个较低的值开始,比如 CPU 逻辑核心数的一半,再逐步增加对比。

通过环境变量设置 OMP_NUM_THREADS 对 llama.cpp 并发请求的吞吐提升实验
# 在命令行直接设置并启动,注意替换模型路径和端口
OMP_NUM_THREADS=4 ./llama-server -m ./models/llama-2-7b.Q4_K_M.gguf -c 4096 `--port` 8080 `--parallel` 4

验证环境变量是否生效,可以启动 server 时加上 `--verbose`,或者查看进程的环境变量:

# 先启动 server,再找进程 PID
pgrep -n llama-server
# 查看该进程的 OMP_NUM_THREADS 值
cat /proc/<PID>/environ | tr '\0' '\n' | grep OMP_NUM_THREADS

如果设置的值不对,server 可能无法利用全部核心,或者启动时只使用默认值。确认环境变量传递到 llama.cpp 环境后,再开始实验。

并发请求验证

核心操作是对比不同 OMP_NUM_THREADS 值下的请求延迟和成功数。保持模型、上下文长度、并发数、请求内容一致,只改变环境变量。下面的命令是一个可用的并发请求骨架,它并行发送 5 个请求,每个请求让模型生成 20 个 token,并统计每次请求的总耗时。

通过环境变量设置 OMP_NUM_THREADS 对 llama.cpp 并发请求的吞吐提升实验
# 假设 server 已在本机 8080 端口运行
seq 5 | xargs -P 5 -I {} curl -s -o /dev/null -w "%{http_code} %{time_total}\n" \
  -H "Content-Type: application/json" \
  -d '{"prompt":"Hello, what is machine learning?","n_predict":20}' \
  http://localhost:8080/completion

这种方式只适合临时验证。更稳妥的做法是固定总请求数(比如 20 次),分别统计最小、最大、平均耗时。不能只看单次结果,第一次请求可能包含模型加载或缓存预热,需要先发几次请求预热,再开始记录。每组测试至少重复三轮,如果三轮中最大/最小耗时波动超过 30%,说明仍有干扰因素,要优先排查 CPU 频率、内存带宽或其他进程占用。

在并发数固定的情况下,记录的数值应包含:time_total(完整请求耗时)、http_code(错误率)和 server 侧打印的 token 生成速度。如果并发请求数高于 `--parallel` 的槽位,多余的请求会排队,此时 time_total 的增大并不完全反映推理吞吐,需要在日志中区分排队时间和推理时间。因此建议并发数尽量等于或略小于 `--parallel` 设置值。

通过环境变量设置 OMP_NUM_THREADS 对 llama.cpp 并发请求的吞吐提升实验

失败时回退

如果调低 OMP_NUM_THREADS 后吞吐没有改善,或者出现请求超时、token 生成明显变慢,先检查 CPU 使用率和使用场景:是单请求批处理多,还是并发零散请求多。

  1. 恢复默认值:取消环境变量,或者设置 OMP_NUM_THREADS=0 让 OpenMP 自动选择。
  2. 重新测试同一组并发请求,确认恢复后的水平是否和调参前一致。
  3. 尝试不同的值:通常可以从 1、2、4、物理核心数、逻辑核心数选取间隔,但不要试图覆盖所有数值。
  4. 如果崩溃或内部报错,检查是否与其他环境变量冲突,例如 MKL_NUM_THREADS 或 KMP_AFFINITY,这些变量会影响同一块 OpenMP 运行时的线程亲和性。

最终保留的配置应该是当前机器上多轮测试中平均耗时最低且错误率没有增加的那一组。由于 OMP_NUM_THREADS 同时影响计算并行度和内存访问竞争,没有万能数值,只能通过实验确认。在发布或修改启动脚本时,把选定的环境变量和对应测试并发数写入注释,方便后续复现和调整。