使用OpenWebUI连接Ollama时WebUI显示请求并发控制的方法

文章导读
在使用OpenWebUI连接Ollama的场景里,最常见的“卡住”现象是多个用户同时提问时,后面的请求一直在等待。这通常不是OpenWebUI本身的问题,而是Ollama默认以串行方式处理请求。如果你想在WebUI里看到并发请求被处理,需要从Ollama的启动参数入手。
📋 目录
  1. Ⅰ 先确认当前Ollama是否开启并发
  2. Ⅱ 设置OLLAMA_NUM_PARALLEL环境变量
  3. Ⅲ 重启后验证并发是否生效
  4. Ⅳ 容易被忽略的会话复用问题
  5. Ⅴ 资源边界与调整建议
A A

在使用OpenWebUI连接Ollama的场景里,最常见的“卡住”现象是多个用户同时提问时,后面的请求一直在等待。这通常不是OpenWebUI本身的问题,而是Ollama默认以串行方式处理请求。如果你想在WebUI里看到并发请求被处理,需要从Ollama的启动参数入手。

要确认当前Ollama是否已开启并发控制,可以在运行Ollama的主机上执行`ollama ps`。如果输出中同一模型出现多个实例,或`PROCESSOR`列显示多个进程,说明并发已生效。如果只有一个实例,且OpenWebUI中多个用户同时请求时出现排队等待,则很可能未配置并发参数。更直接的方法是检查环境变量,运行`env | grep OLLAMA`,若看不到`OLLAMA_NUM_PARALLEL`,说明采用的是默认值1,即串行处理。

为Ollama开启并发请求控制,核心是设置环境变量`OLLAMA_NUM_PARALLEL`。建议在启动Ollama之前定义该变量,例如在systemd服务文件中添加`Environment="OLLAMA_NUM_PARALLEL=2"`,或在启动脚本中通过`export`设置。数值应根据模型大小和显存余量谨慎调整,不要一步设置过高。修改后必须重启Ollama进程才能生效。如果OpenWebUI连接的是远程Ollama,需在Ollama所在的主机上修改配置,而非OpenWebUI所在的机器。

先确认当前Ollama是否开启并发

在调整配置之前,建议先检查现有状态。在运行Ollama的主机上执行ollama ps,观察输出中的模型实例数和PROCESSOR列。如果只有一个实例,而且多个请求会排队,基本可以判断当前是串行模式。另外一个更直接的检查是查看环境变量:

env | grep OLLAMA

如果看不到OLLAMA_NUM_PARALLEL,说明Ollama使用默认值1,也就是一次只处理一个请求。这种情况下,OpenWebUI里看到的现象就是请求排队等待。

设置OLLAMA_NUM_PARALLEL环境变量

为Ollama开启并发请求控制,核心是设置环境变量OLLAMA_NUM_PARALLEL。建议在启动Ollama之前定义该变量,例如在systemd服务文件中添加Environment="OLLAMA_NUM_PARALLEL=2",或在启动脚本中通过export设置。数值应根据模型大小和显存余量谨慎调整,不要一步设置过高。修改后必须重启Ollama进程才能生效。如果OpenWebUI连接的是远程Ollama,需在Ollama所在的主机上修改配置,而非OpenWebUI所在的机器。

具体操作取决于Ollama的启动方式。如果使用systemd管理,可以在service文件中加入:

[Service]
Environment="OLLAMA_NUM_PARALLEL=2"

然后执行 sudo systemctl daemon-reload && sudo systemctl restart ollama。注意修改的是Ollama服务所在主机的配置,如果OpenWebUI连接的是远程Ollama,需要在远程机器上改。

另一种常见方式是在启动脚本里export这个变量,再启动ollama serve。例如:

使用OpenWebUI连接Ollama时WebUI显示请求并发控制的方法
export OLLAMA_NUM_PARALLEL=2
ollama serve

数值的选取要谨慎。可以在ollama ps里查看当前显存占用,再根据模型大小调整。这里看重显存余量,不要一开始就设置很高。

重启后验证并发是否生效

配置重启后,可以通过发送连续请求来验证并发是否生效。在终端中向Ollama的API同时发起两条请求,例如使用curl并行调用/api/generate接口,然后观察两条请求的完成时间。如果两条请求接近同时完成,说明并发已起作用;如果第二条等待第一条结束后才开始,则仍为串行。此外,查看Ollama的日志(journalctl或启动终端输出)可能看到类似parallel=2的启动参数。注意:OpenWebUI中的长对话可能复用同一上下文,导致并发效果不明显,这是正常现象。

我们可以用两个并行的curl请求来测试。在终端里执行:

curl -s http://localhost:11434/api/generate -d '{"model":"qwen2.5:7b","prompt":"test1"}' &
curl -s http://localhost:11434/api/generate -d '{"model":"qwen2.5:7b","prompt":"test2"}' &
wait

注意这里&把两个请求放到后台,wait等待全部完成。观察两个请求的完成时间:如果几乎同时结束,说明并发已生效;如果第二个请求明显等待第一个完成,说明还是串行。另外,可以查看Ollama的日志,有时会打印parallel=2之类的启动参数。但要注意,OpenWebUI的长对话会携带同样的上下文,可能让Ollama误认为是同一会话,从而强制串行,这时并发效果不明显是正常的。

容易被忽略的会话复用问题

一个容易被忽略的问题是,即便设置了并发环境变量,OpenWebUI在某些版本中会为每个会话保持一个固定的模型实例,并且请求携带了相同的上下文ID,这会让Ollama认为这些请求属于同一会话,从而强制串行执行。也就是说,并发控制的效果会被OpenWebUI的会话管理机制部分抵消。解决思路是不要在同一个会话中同时发送多个请求,而是开启多个独立的对话窗口测试;或者检查OpenWebUI是否有关于会话复用的设置项,适当调整其行为。

也就是说,即使环境变量设置正确,OpenWebUI的某些版本仍可能限制并发。因为每个会话的请求都带同一个上下文ID,Ollama会把这些请求当作同一会话,只能顺序执行。你可以在客户端新建多个独立会话同时提问来测试,或者查看OpenWebUI是否有会话复用相关设置。这部分需要结合你当前使用的版本确认,不同版本行为不一样。

资源边界与调整建议

提高OLLAMA_NUM_PARALLEL会成倍增加显存和内存消耗,因为每个并行请求都需要加载一份独立的模型上下文。对于7B量级的模型,并行数从1增加到2时,额外显存占用可能达到数GB,但具体取决于模型量化格式和提示词长度。盲目设置过高的并发数可能导致Ollama进程被系统杀掉或推理速度急剧下降。建议从较低的值(如2)开始,观察显存占用和响应延迟。如果服务器有多个GPU,还需要考虑OLLAMA_MAX_LOADED_MODELS与并发数的配合,避免所有模型同时加载导致资源耗尽。

并发控制不是一个独立参数,需要结合OpenWebUI的会话行为、模型大小和服务器资源来逐步试。遇到现象不符合预期时,先回到Ollama日志和ollama ps找线索。