本地模型批量推理时,Web 界面请求队列积压的典型场景是把本地推理服务封装成 HTTP 接口,前端一次性提交大量任务。遇到这个现象,最先要确认的是“积压”发生在哪一层:Web 服务自身的请求队列、模型推理框架的批处理队列,还是客户端等待响应时的连接池。三者表现相似,但调整方向完全不同。
先判断瓶颈:队列长度和响应时间是否同步上升
观察请求队列积压时,先看队列长度是否持续增长,同时配合Web接口的平均响应时间变化。如果响应时间随队列长度同步上升,说明后端推理速度成为瓶颈,单纯增加队列大小往往治标不治本。此时应同时关注GPU显存利用率和推理进程的CPU占用,若显存已接近上限,再增大并发只会触发OOM或显存交换,拖慢所有在跑请求。
所以最先要做的是把队列长度和响应时间放到同一个坐标轴里观察。下面这个脚本每隔 5 秒请求一次 Web 服务的 metrics 接口,把两个值打印出来。如果你的服务没有 metrics 接口,也可以从日志里解析。
import requests, time
while True:
r = requests.get('http://127.0.0.1:8080/metrics', timeout=2)
metrics = r.json()
print('queue={} avg_response={}ms'.format(metrics['queue_size'], metrics['avg_response_ms']))
time.sleep(5)
这个脚本在 Web 服务所在机器上运行,用来观察趋势。响应时间建议同时看平均和分位数,因为个别长请求会拉高平均。如果队列长度持续增长,而响应时间并没有同步上升,说明处理单个请求的速度还在,只是消费线程数不够;这时要检查 Web 应用里启动了多少个推理 worker,而不是盲目调队列。
设置并发上限:从显存占用和超时开始
设置并发队列大小时,不要凭感觉选一个固定值。可以按单次推理峰值显存占用和可用显存估算上限,但实际能从多少并发还取决于模型大小和输入长度。建议先以当前显存占用的一半为初始并发上限,压测后逐步上调,每次上调后观察显存是否出现波动。同时给队列设置一个较短的超时时间,比如几十秒,超过就直接拒绝或降级,防止请求无限堆积。
这里要区分两个参数:并发 worker 数量决定同时有多少请求在跑,队列最大长度决定最多允许多少请求等待。下面这段代码用环境变量控制队列长度和入队超时,方便在部署时按机器实际显存调整。注意入队超时指的是队列满时,新请求最多等待多久,超时后直接返回 503,而不是继续排队。
from queue import Queue, Full
import os
QUEUE_MAX = int(os.getenv('QUEUE_MAX', '20'))
QUEUE_TIMEOUT = int(os.getenv('QUEUE_TIMEOUT', '30'))
task_queue = Queue(maxsize=QUEUE_MAX)
def submit_task(task):
try:
task_queue.put(task, timeout=QUEUE_TIMEOUT)
except Full:
raise HTTPException(503, 'Queue full, retry later')
这里 20 和 30 只是示例值,需要结合显存占用调整。估算并发 worker 上限时,可以用空闲显存除以单次推理峰值显存,再取一半作为初始值。队列长度可以比 worker 数大一些,但不要大太多,因为排队中的请求本身也会占内存。每次调整后观察显存曲线和响应时间,如果显存出现锯齿形波动,说明并发已经接近上限。
排队策略的选择:FIFO、优先级和公平队列
FIFO 队列最简单,实现成本低,但在批量推理场景下容易被长时间推理的大请求堵住,导致后面的短请求迟迟得不到响应。优先级队列让重要请求插队,但需要为每个请求定义优先级,并注意低优先级请求的饿死问题。公平队列按来源或用户分组轮转,能避免单个来源占满队列,但实现复杂度更高。
如果业务中确实存在高优先级任务,可以先用一个简单的优先级队列试试。下面示例展示了 Python 的 PriorityQueue 用法,数字越小优先级越高。
from queue import PriorityQueue
q = PriorityQueue(maxsize=100)
q.put((1, 'high_priority_request'))
q.put((5, 'low_priority_request'))
这个队列本身不会处理优先级反转或饿死。假设高优先级请求持续到达,低优先级请求可能永远排不上,所以在生产环境需要加入老化机制,比如让每个等待请求的优先级随时间提高,或者按到达时间做加权。也可以采用几个普通队列轮询,避免一个用户或一个来源占满全部 slot。选择哪种策略,要结合业务对实时性和吞吐的权衡,没有绝对最优。
队列积压的内存边界:别忽略排队请求本身
队列积压的临界点不在请求数本身,而在内存占用。每个排队请求都会携带输入数据和上下文,如果队列长度过大,这些请求占用的内存可能比正在推理的批次还多。当队列全满且新请求进入时,采取拒绝还是丢弃直接决定用户体验,丢弃会丢失数据,但拒绝可以提前反馈。建议在配置里显式设置最大队列长度和拒绝策略,不要依赖系统默认的无限队列,否则内存压力迟早会传导到推理进程,导致整机卡死。
所以在调整队列长度时,要同时估算队列中所有请求的输入文本、图像或上下文的总大小。可以在服务里增加一个 queue_memory_bytes 指标,统计时乘以每条请求的输入长度。如果发现队列内存占用已经超过空闲内存,就需要调小队列长度。拒绝策略建议返回 503 或 429,至少让客户端知道重试,而不是默默丢弃任务。
容易忽略的检查点
排查到这里,还有几个地方容易漏掉。第一是客户端超时设置,很多 HTTP 客户端默认等待很久,用户看到请求一直转圈,实际是队列里的请求卡住了。第二是推理框架的显存预分配,有些框架在初始化时会把显存全部预留,队列里的请求即使还没开始推理,也可能因为框架的预分配机制占用显存,诱导你以为是显存不足,实际是队列积压导致的内存问题。第三是慢请求混入,比如某个批次里混入了超长输入,会让整个批次耗时陡增,队列长度跟着上涨。
最后补充一个判断手段:写一个脚本周期性地抓取每个请求从入队到开始推理的时间差。如果这个时间差在增长,而推理吞吐量没有明显变化,说明新增请求的速度超过了处理速度。这时候优先检查推理代码中是否存在慢操作,比如上面提到的超长输入。如果确认为推理速度瓶颈,调整队列参数只能缓解,下一步要优化模型推理本身,比如限制输入长度、调整 batch size 或考虑量化。