动态batch的作用是把短时间内到达的多个请求合并成一次前向推理,从而提升GPU利用率。对于Embedding模型这类短请求、高并发的场景,配置的关键在“等待多少毫秒”、“一次最多拼多少条”和“请求队列多长”这三个数字。数字设小了,batch填充不饱满;设大了,请求延迟会变高。litserver实际能否调整这些参数,依赖当前部署版本的实现,下面按最常出现的配置路径给出排查和设置步骤。
前置条件检查
动手设置前,先确认三件事:litserver的版本号、GPU型号以及Embedding模型的加载方式。不同版本的litserver,动态batch参数名和默认值可能不一样,直接套用旧配置容易失效。确认方法很简单:启动进程后执行litserver `--help`或查看启动日志里的“dynamic batching”相关字段。另外要确认模型权重占用的显存量,留给动态batch扩容的显存上限,决定了最大batch能设到多少。
配置动态batch的关键参数
大多数动态batch实现会提供以下四类参数:是否开启、最大batch条数、batch聚合的等待时长、请求队列长度。对Embedding模型,推荐先关闭自然语言生成相关的长度控制,只调整batch维度。以下是常见的配置片段,具体字段名需按当前部署版本确认。
{
"dynamic_batching": {
"enabled": true,
"max_batch_size": 32,
"max_batch_tokens": 2048,
"max_wait_ms": 20,
"max_queue_size": 100
}
}这里max_batch_size是单次前向推理最多处理的请求数,需要结合显存余量测试。可以先设一个保守值,比如8,然后逐步加大。max_batch_tokens用于限制batch内所有请求的token总和,避免超长文本超出显存。max_wait_ms是等待更多请求进入batch的时间,设置适中即可;如果并发量高,10-30ms通常足够。max_queue_size用于防止请求过于集中时拖垮进程,建议先设100,后续按负载调整。注意,不要贪心把max_batch_size设到接近显存极限,因为Embedding模型的前向计算峰值可能比静态模型高。
验证GPU实际利用率与batch填充度
配置生效后,建议用两个步骤验证:第一步看GPU利用率和显存占用,第二步确认实际batch大小是否达到设定目标。启动litserver后,另开一个终端运行nvidia-smi dmon,观察GPU利用率曲线。如果利用率长期低于预期,说明batch没有填满。接着用并发请求测试,比如用Python脚本同时发送20个请求,查看litserver日志中是否打印batch大小,或者监控推理服务的指标。若日志显示每次推理的batch数明显小于并发数,说明等待时间太短,请求被拆成了多个小batch;若batch数稳定接近max_batch_size,说明参数生效。
回退方案与风险边界
动态batch设置不当,最常见的后果是显存溢出(OOM)或单请求延迟抖动。遇到OOM时,先降低max_batch_size,再考虑降低max_batch_tokens;如果延迟突然变高,查看是否等待时间过长,调整max_wait_ms回到较小值。回退时最好每次只改一个参数,观察后再动下一个。假如litserver的版本不支持动态batch,或者调整后效果不明显,可以退回固定batch模式,即在客户端侧自行累积请求,凑满batch再发送。这种方式没有服务端等待损耗,但需要客户端额外管理请求缓存。
常见问题:动态batch为什么不生效
可以按以下顺序排查:确认配置项拼写正确并加载成功;查看服务端日志有没有“dynamic batching enabled”之类的启动信息;检查请求是否真的同时到达——如果请求间隔拉得很大,等待窗口内凑不齐batch是正常现象。另一个容易被忽略的原因:Embedding模型的请求如果走的是异步接口,可能被框架内部拆分,导致batch大小不符合预期。