SGLang的prefill与decode阶段分离调度:--schedule-policy参数对latency的优化验证

文章导读
`--schedule-policy` 控制的是请求调度顺序,不等同于把 prefill 和 decode 拆到不同进程或不同 GPU。要验证它对延迟的优化,先分清楚想解决的是长 prompt 阻塞、首 token 时间长,还是高并发下 decode 抖动。不同目标对应的验证指标不同,操作步骤也不同。
📋 目录
  1. Ⅰ 验证前先确认边界
  2. Ⅱ 设计可对比的启动方式
  3. Ⅲ 用同一负载对比延迟指标
  4. Ⅳ 回退与后续排查
A A

`--schedule-policy` 控制的是请求调度顺序,不等同于把 prefill 和 decode 拆到不同进程或不同 GPU。要验证它对延迟的优化,先分清楚想解决的是长 prompt 阻塞、首 token 时间长,还是高并发下 decode 抖动。不同目标对应的验证指标不同,操作步骤也不同。

验证前先确认边界

先确认 SGLang 版本和参数列表。因为策略名和默认值会随版本变化,直接套用网上命令容易失效。执行:

python -m sglang.launch_server `--help` | grep -A 10 schedule-policy

这一步能同时确认当前版本是否支持该参数、有哪些候选值。通常候选值会包括基于最长前缀匹配的调度、先来先服务、随机等,具体名称以输出为准。

SGLang的prefill与decode阶段分离调度:--schedule-policy参数对latency的优化验证

设计可对比的启动方式

用同一模型和同一批请求构造两个服务实例:一个不加该参数走默认策略,一个显式指定候选策略。建议只在命令行中改变这一个变量,端口要错开:

# 默认策略
python -m sglang.launch_server `--model-path` /path/to/model `--port` 30000

# 候选策略
python -m sglang.launch_server `--model-path` /path/to/model `--port` 30001 `--schedule-policy` lpm

如果刚才的 `--help` 输出里没有 lpm,就换成实际存在的策略名。事先确认模型路径和端口可用,并记录服务启动时打印的缓存配置。

SGLang的prefill与decode阶段分离调度:--schedule-policy参数对latency的优化验证

用同一负载对比延迟指标

建议准备固定 prompt 长度和输出 token 数的请求集,分别压这两个端口。每次压测前重启服务,避免 KV cache 残留影响公平性。至少记录三类指标:TTFT(首 token 时间)、TPOT(平均每输出 token 时间)、端到端总延迟。可以从服务日志、监控端点或客户端时间戳里取,关键是两个实例用同一种采集方式。

SGLang的prefill与decode阶段分离调度:--schedule-policy参数对latency的优化验证

判断时不要只看平均值。比如请求长度差异大时,TTFT 的 p50 可能变化不大,但 p95 能反映长请求是否被优先调度;TPOT 的 p95 能看出 decode 阶段有没有被 prefill 突发拖住。如果候选策略在 TTFT 或延迟分位数上带来肉眼可分辨的改善,并且 TPOT 没有明显变差,才说明该参数值得保留。

回退与后续排查

如果对比后没有改善甚至更差,直接去掉 `--schedule-policy` 参数,用默认策略重启,再跑同一轮负载确认恢复。默认策略并不一定是最差策略,它通常是版本作者默认选择,且可能配合其他缓存策略。性能波动时,不要只盯调度策略,还需要检查 batch size、chunked prefill 是否开启、显存是否足够。调度策略的收益受负载混合度影响很大,换了 prompt 分布可能结论反转,所以最终是否采用需要结合当前业务流量继续观察。