Ollama 自身支持通过环境变量限制并发队列，但生产环境更建议在应用层或网关层实现请求排队，避免显存溢出导致服务不可用。
先说结论：单纯依赖 Ollama 内置队列不足以应对高并发，需结合环境变量限制与外部队列机制。
- 先定位：确认当前并发瓶颈是显存不足还是请求堆积。
- 先做：设置 OLLAMA_MAX_QUEUE 与 OLLAMA_NUM_PARALLEL 环境变量。
- 再验证：通过并发测试观察日志是否有排队或拒绝记录。
命令速用版
如果你使用 Docker 部署，可以在启动容器时直接传入环境变量来控制队列和并发数。以下是一个基础配置示例，限制最大队列长度为 512，单模型并行请求数为 4：
docker run -d -v ollama:/root/.ollama \
-e OLLAMA_MAX_QUEUE=512 \
-e OLLAMA_NUM_PARALLEL=4 \
-p 11434:11434 \
`--name` ollama \
ollama/ollama如果是 Linux 系统直接运行，可以通过 systemd 服务文件配置环境变量，或在启动命令前导出变量。
为什么会这样
Ollama 服务默认会将模型加载到显存中。当多个请求同时到达时，如果显存不足以支撑所有请求的上下文并行计算，服务会出现响应变慢甚至崩溃。内置队列的作用是暂存超出处理能力的请求，但队列长度有限，超出后新请求会被拒绝。此外，频繁切换模型上下文也会带来额外开销，导致超时。
公开资料中没有看到可靠的量化数据说明具体并发阈值，因为这高度依赖显卡显存大小和模型参数量。
分步处理
1. 调整内置队列限制
通过设置 OLLAMA_MAX_QUEUE 控制允许排队的请求数量。默认值通常较小，适当调大可以缓解瞬时流量高峰，但过大会增加内存消耗。
2. 限制单模型并行数
设置 OLLAMA_NUM_PARALLEL 限制同一个模型同时处理的请求数。这能防止显存被单个模型的多个上下文占满。建议根据显存容量保守设置，例如 24GB 显存运行 7B 模型可尝试设置为 4 或 8。
3. 引入外部队列（推荐）
对于生产环境，建议在 Ollama 前端增加一层应用服务或网关（如 Nginx、Redis 队列）。由外层控制请求速率，确保发送给 Ollama 的请求在其处理能力范围内。这样即使 Ollama 重启或过载，外部队列也能缓冲请求。
4. 配置模型保持加载
使用 OLLAMA_KEEP_ALIVE 环境变量或 API 参数，避免模型频繁卸载和重新加载，减少响应延迟。
怎么验证是否生效
1. 查看服务日志
观察 Ollama 运行日志，确认是否有请求被拒绝或排队超时记录。Docker 部署可使用 docker logs ollama 查看。
2. 监控显存使用
使用 nvidia-smi 命令监控显存占用情况。如果在并发测试期间显存未爆满且服务稳定，说明配置有效。
3. 并发测试
使用工具（如 wrk 或自定义脚本）发送并发请求，观察响应时间和错误率。如果不再出现连接重置或长时间无响应，说明队列机制起作用。
常见坑
1. 队列过大导致内存溢出
调大 OLLAMA_MAX_QUEUE 会消耗更多系统内存，如果请求体较大，可能导致服务器内存不足而非显存不足。
2. 模型频繁卸载
如果没有设置保持加载，模型在处理完请求后可能会卸载，下次请求需重新加载，导致首字延迟极高。
3. 忽视网络带宽
高并发下网络带宽也可能成为瓶颈，尤其是输入输出内容较长时，需确保服务器网络吞吐足够。
参考来源
- Ollama GitHub Repository, README.md, Environment Variables section, https://github.com/ollama/ollama
- Ollama Official Documentation, FAQ and Configuration, https://ollama.com