本地模型批量推理时Web界面请求队列积压:并发队列大小与排队策略对比

文章导读
本地模型批量推理时,Web 界面请求队列积压的典型场景是把本地推理服务封装成 HTTP 接口,前端一次性提交大量任务。遇到这个现象,最先要确认的是“积压”发生在哪一层:Web 服务自身的请求队列、模型推理框架的批处理队列,还是客户端等待响应时的连接池。三者表现相似,但调整方向完全不同。
📋 目录
  1. 壹 先判断瓶颈:队列长度和响应时间是否同步上升
  2. 贰 设置并发上限:从显存占用和超时开始
  3. 叁 排队策略的选择:FIFO、优先级和公平队列
  4. 肆 队列积压的内存边界:别忽略排队请求本身
  5. 伍 容易忽略的检查点
A A

本地模型批量推理时,Web 界面请求队列积压的典型场景是把本地推理服务封装成 HTTP 接口,前端一次性提交大量任务。遇到这个现象,最先要确认的是“积压”发生在哪一层:Web 服务自身的请求队列、模型推理框架的批处理队列,还是客户端等待响应时的连接池。三者表现相似,但调整方向完全不同。

先判断瓶颈:队列长度和响应时间是否同步上升

观察请求队列积压时,先看队列长度是否持续增长,同时配合Web接口的平均响应时间变化。如果响应时间随队列长度同步上升,说明后端推理速度成为瓶颈,单纯增加队列大小往往治标不治本。此时应同时关注GPU显存利用率和推理进程的CPU占用,若显存已接近上限,再增大并发只会触发OOM或显存交换,拖慢所有在跑请求。

所以最先要做的是把队列长度和响应时间放到同一个坐标轴里观察。下面这个脚本每隔 5 秒请求一次 Web 服务的 metrics 接口,把两个值打印出来。如果你的服务没有 metrics 接口,也可以从日志里解析。

import requests, time

while True:
    r = requests.get('http://127.0.0.1:8080/metrics', timeout=2)
    metrics = r.json()
    print('queue={} avg_response={}ms'.format(metrics['queue_size'], metrics['avg_response_ms']))
    time.sleep(5)

这个脚本在 Web 服务所在机器上运行,用来观察趋势。响应时间建议同时看平均和分位数,因为个别长请求会拉高平均。如果队列长度持续增长,而响应时间并没有同步上升,说明处理单个请求的速度还在,只是消费线程数不够;这时要检查 Web 应用里启动了多少个推理 worker,而不是盲目调队列。

设置并发上限:从显存占用和超时开始

设置并发队列大小时,不要凭感觉选一个固定值。可以按单次推理峰值显存占用和可用显存估算上限,但实际能从多少并发还取决于模型大小和输入长度。建议先以当前显存占用的一半为初始并发上限,压测后逐步上调,每次上调后观察显存是否出现波动。同时给队列设置一个较短的超时时间,比如几十秒,超过就直接拒绝或降级,防止请求无限堆积。

这里要区分两个参数:并发 worker 数量决定同时有多少请求在跑,队列最大长度决定最多允许多少请求等待。下面这段代码用环境变量控制队列长度和入队超时,方便在部署时按机器实际显存调整。注意入队超时指的是队列满时,新请求最多等待多久,超时后直接返回 503,而不是继续排队。

from queue import Queue, Full
import os

QUEUE_MAX = int(os.getenv('QUEUE_MAX', '20'))
QUEUE_TIMEOUT = int(os.getenv('QUEUE_TIMEOUT', '30'))
task_queue = Queue(maxsize=QUEUE_MAX)

def submit_task(task):
    try:
        task_queue.put(task, timeout=QUEUE_TIMEOUT)
    except Full:
        raise HTTPException(503, 'Queue full, retry later')

这里 20 和 30 只是示例值,需要结合显存占用调整。估算并发 worker 上限时,可以用空闲显存除以单次推理峰值显存,再取一半作为初始值。队列长度可以比 worker 数大一些,但不要大太多,因为排队中的请求本身也会占内存。每次调整后观察显存曲线和响应时间,如果显存出现锯齿形波动,说明并发已经接近上限。

排队策略的选择:FIFO、优先级和公平队列

FIFO 队列最简单,实现成本低,但在批量推理场景下容易被长时间推理的大请求堵住,导致后面的短请求迟迟得不到响应。优先级队列让重要请求插队,但需要为每个请求定义优先级,并注意低优先级请求的饿死问题。公平队列按来源或用户分组轮转,能避免单个来源占满队列,但实现复杂度更高。

本地模型批量推理时Web界面请求队列积压:并发队列大小与排队策略对比

如果业务中确实存在高优先级任务,可以先用一个简单的优先级队列试试。下面示例展示了 Python 的 PriorityQueue 用法,数字越小优先级越高。

from queue import PriorityQueue

q = PriorityQueue(maxsize=100)
q.put((1, 'high_priority_request'))
q.put((5, 'low_priority_request'))

这个队列本身不会处理优先级反转或饿死。假设高优先级请求持续到达,低优先级请求可能永远排不上,所以在生产环境需要加入老化机制,比如让每个等待请求的优先级随时间提高,或者按到达时间做加权。也可以采用几个普通队列轮询,避免一个用户或一个来源占满全部 slot。选择哪种策略,要结合业务对实时性和吞吐的权衡,没有绝对最优。

队列积压的内存边界:别忽略排队请求本身

队列积压的临界点不在请求数本身,而在内存占用。每个排队请求都会携带输入数据和上下文,如果队列长度过大,这些请求占用的内存可能比正在推理的批次还多。当队列全满且新请求进入时,采取拒绝还是丢弃直接决定用户体验,丢弃会丢失数据,但拒绝可以提前反馈。建议在配置里显式设置最大队列长度和拒绝策略,不要依赖系统默认的无限队列,否则内存压力迟早会传导到推理进程,导致整机卡死。

所以在调整队列长度时,要同时估算队列中所有请求的输入文本、图像或上下文的总大小。可以在服务里增加一个 queue_memory_bytes 指标,统计时乘以每条请求的输入长度。如果发现队列内存占用已经超过空闲内存,就需要调小队列长度。拒绝策略建议返回 503 或 429,至少让客户端知道重试,而不是默默丢弃任务。

容易忽略的检查点

排查到这里,还有几个地方容易漏掉。第一是客户端超时设置,很多 HTTP 客户端默认等待很久,用户看到请求一直转圈,实际是队列里的请求卡住了。第二是推理框架的显存预分配,有些框架在初始化时会把显存全部预留,队列里的请求即使还没开始推理,也可能因为框架的预分配机制占用显存,诱导你以为是显存不足,实际是队列积压导致的内存问题。第三是慢请求混入,比如某个批次里混入了超长输入,会让整个批次耗时陡增,队列长度跟着上涨。

最后补充一个判断手段:写一个脚本周期性地抓取每个请求从入队到开始推理的时间差。如果这个时间差在增长,而推理吞吐量没有明显变化,说明新增请求的速度超过了处理速度。这时候优先检查推理代码中是否存在慢操作,比如上面提到的超长输入。如果确认为推理速度瓶颈,调整队列参数只能缓解,下一步要优化模型推理本身,比如限制输入长度、调整 batch size 或考虑量化。