本地 RAG 项目里调 text-embedding-adapter 接口,吞吐率优化的核心不是无限调大 batch size,而是找到批处理大小与单次请求耗时之间的平衡点。优化动作分为两步:先在客户端确定一次请求的文本条数,再通过日志观察服务端批处理耗时和内存占用。实际数值需要结合本机显存、CPU 和磁盘读写情况确认。
先确认调用链上的瓶颈
batch size 调整只对“服务端一次能处理的条数”有意义。如果瓶颈在客户端逐条循环、网络连接复用不当或磁盘读取上,调大 batch size 不会带来吞吐率的提升,反而会掩盖真正问题。建议先给客户端和服务端分别加时间戳日志:客户端记下发送前时间和收到响应时间,服务端记下接收时间和处理后时间。当服务端处理时间在总耗时中占明显大头时,batch size 才值得继续调。
验证方式:用固定文本集跑一轮,对比日志中请求耗时分布。如果客户端耗时占比高,先优化连接复用和并发;如果网络传输占比高,再考虑压缩数据或减少单次文本长度。
调整 batch size 的方法
text-embedding-adapter 通常按 HTTP 请求接收一个文本数组。batch size 就是一次请求里放进数组的文本条数。代码中的 batch 变量就是客户端控制的批大小。
import requests
batch = 8
texts = [...] # 从 RAG 切分得到的文本块列表
for i in range(0, len(texts), batch):
resp = requests.post(
"http://127.0.0.1:8000/embed",
json={"texts": texts[i:i+batch]}
)
# 检查 resp.status_code,并按原始顺序取回向量
这里批大小调整的关键是先用固定值测试,比如 1、4、8、16、32,观察响应时间是否接近线性增长。如果 8 条文本耗时是 4 条的近两倍,说明服务端已经接近处理上限;如果增长很小,说明服务端还有余量,可以继续加。多数自建 embedding 服务会在请求体或日志中暴露最大允许条数,超限时会返回 4xx 或 5xx,需要先看服务端日志。
配合并发和超时设置
本地部署时,单个请求的响应时间通常不长,但 RAG 需要处理的文本块数量多。建议在 batch size 固定后,用线程池发起少量并发请求,避免串行等待。线程数可以先从 2 开始逐步增加,观察 GPU 显存占用和服务端平均响应时间的变化。并发数过高时,排队时间会超过 batch size 带来的收益,表现为响应时间陡增但吞吐率没有同步上升。
超时设置可以按单批正常耗时的两到三倍配置,避免偶发加载模型或磁盘抖动导致客户端误判失败。如果环境中只有单卡,建议并发数不大于服务端显存能容纳的 batch 总数除以单次 batch 的数值。具体值需要结合模型参数量和量化情况确认。
验证吞吐率变化并设置回退
吞吐率用“处理的文本条数 / 总耗时”计算,而不是请求数每秒。在一个固定测试集上跑完整个流程,记录总耗时和成功条数,就能比较不同 batch size 的效率。建议把每次请求的 batch 大小、起始时间、耗时和返回码写入结构化日志,方便后续用命令行统计。
风险边界:把 batch size 或并发数调大后,如果服务端日志出现内存溢出、句柄耗尽或响应时间急速上升,说明已经越过当前环境的上限。此时应回退到上一次正常值,并检查系统日志。建议在配置文件中保存 batch size 和并发数,用一次提交中的两个值做对比,快速回滚。