使用Envoy对LLM请求重试时基于负载均衡权重重置故障节点

文章导读
先说明一个常见现象:LLM服务由多个模型副本组成时,Envoy会按权重把请求分发到不同节点。当一个节点因为显存耗尽、推理进程卡住或网络异常而无法正常返回时,客户端会触发重试。此时如果Envoy没有把该节点从可用池中剔掉,重试会更大概率回到同一节点,请求在已有超时压力上再叠加一次超时等待,服务端看起来会“雪崩”。
📋 目录
  1. 壹 先确认现象,再动配置
  2. 贰 容易误判的地方
  3. 叁 稳妥的处理顺序
  4. 肆 配置示例:health check、outlier detection与retry策略
  5. 伍 验证方式
  6. 陆 回滚和风险边界
A A

先说明一个常见现象:LLM服务由多个模型副本组成时,Envoy会按权重把请求分发到不同节点。当一个节点因为显存耗尽、推理进程卡住或网络异常而无法正常返回时,客户端会触发重试。此时如果Envoy没有把该节点从可用池中剔掉,重试会更大概率回到同一节点,请求在已有超时压力上再叠加一次超时等待,服务端看起来会“雪崩”。

先确认现象,再动配置

我会先做一件事:看Envoy管理端口里的集群状态。具体命令是请求admin接口的 /clusters 和 /stats,重点看这个集群的 upstream_rq_retry、upstream_rq_503、upstream_cx_connect_fail 等指标。如果重试次数在涨,但同一个远端地址的活跃连接还挂着,那基本可以确认请求被反复送回了故障节点。

然后我会打开LLM服务侧的容器日志,看它会不会按请求返回业务错误,或者只在超时才被断连。这个区别很重要:如果节点其实恢复了,问题大概率出在Envoy的健康检查间隔;如果节点还卡着,就要先看负载均衡策略是否还把它保留在候选列表里。

只有确认了现象,我才会考虑把某个节点的权重调低或重置。

容易误判的地方

这里说的“重置”,不是指把故障节点重启或重新部署,而是通过调整负载均衡权重或触发驱逐机制,让新的请求和重试请求都能避开它;等到故障恢复后,再把权重放回原值并让Envoy重新信任它。

在LLM服务场景里,最常被混淆的是“节点慢”和“节点挂”。一个节点可能因为显存碎片、连续推理触发GC停顿,响应时间变长,但TCP连接和健康检查仍然正常。此时把它按故障节点排除,会浪费算力;反之,如果只靠超时重试去兜底,又会在故障期间持续占用无效请求。

另一个容易误会的是负载均衡权重和健康状态的关系。weight只决定节点被选中的概率,health status决定节点是否被Envoy纳入可用池。将故障节点weight调为0,和通过outlier detection把这个节点驱逐出去,是两条不同的路径,结果虽然类似,但触发条件和恢复机制差别很大。

如果你在中转网关层做了两层重试(外层网关一层,Envoy一层),则更容易出现“重试套重试”,对外表现为延迟倍增,但实际只有底层的某个节点在反复失败。

稳妥的处理顺序

  1. 先给每个LLM实例加一个语义明确、轻量的HTTP健康检查路径,例如 /healthz,让它返回当前进程是否可以处理新请求。健康检查不要走模型推理主路径,也不要只依赖TCP存活。
  2. 在Envoy的cluster里配置主动健康检查,interval先给5秒到10秒左右,unhealthy_threshold设为2或3,避免偶发抖动导致节点被误踢。healthy_threshold保持1到2,恢复时能更早回池。
  3. 配置outlier detection,让Envoy在连续错误达到阈值时自动排除节点。这一步相当于把“故障节点”标记成被驱逐状态,在驱逐期间它不会参与负载均衡选择。
  4. 再检查重试策略。如果希望重试时跳过原始主机,配置retry_host_predicate为previous_hosts,并限制host_selection_retry_max_attempts不超过重试次数。
  5. 最后用短时间的小流量或模拟错误来验证,而不是一次性把所有节点权重清零或直接改生产路由。

顺序很重要。如果你先改权重和重试策略,而没有启用健康检查,Envoy仍然可能把请求发给一个权重不为0但已经失效的节点。

配置示例:health check、outlier detection与retry策略

下面是一段静态集群配置,先启用HTTP健康检查和离群值检测。适用环境:通过标准HTTP端口提供LLM推理服务,并且每个实例有固定的IP:800x地址。

clusters:
- name: llm_cluster
  connect_timeout: 2s
  type: STATIC
  lb_policy: LEAST_REQUEST
  health_checks:
    health_check:
      interval: 5s
      timeout: 2s
      unhealthy_threshold: 2
      healthy_threshold: 1
      http_health_check:
        path: /healthz
  outlier_detection:
    consecutive_5xx: 3
    interval: 10s
    base_ejection_time: 30s
    max_ejection_percent: 20
  load_assignment:
    cluster_name: llm_cluster
    endpoints:
    - lb_endpoints:
      - endpoint:
          address:
            socket_address: { address: 10.0.0.11, port_value: 8001 }
        health_status: HEALTHY
        weight: 100
      - endpoint:
          address:
            socket_address: { address: 10.0.0.12, port_value: 8002 }
        health_status: HEALTHY
        weight: 100

关键点在于health_checks和outlier_detection是一起生效的。前者处理“进程活着但判定为不健康”,后者处理“能收到响应但5xx比例持续升高”。在实际故障中,二者经常同时发生,所以建议都打开。

使用Envoy对LLM请求重试时基于负载均衡权重重置故障节点

下面是路由级retry策略,重点加入previous_hosts谓词,避免重试时继续打回同一台机器。

route_config:
  virtual_hosts:
  - name: llm_vh
    domains: ["*"]
    routes:
    - match: { prefix: /v1/completions }
      cluster: llm_cluster
      timeout: 60s
      retry_policy:
        retry_on: "gateway-error,reset,connect-failure"
        num_retries: 2
        retry_host_predicate:
        - name: envoy.retry_host_predicates.previous_hosts
        host_selection_retry_max_attempts: 3
        retriable_status_codes: [429, 503, 504]

如果你的Envoy版本较旧,previous_hosts谓词可能要用完整注册名。如果加了这个配置后,两次重试仍然落在同一台节点,优先检查cluster的负载均衡池里是否只剩下这一台实例,或者outlier ejection把其他节点都暂时移除了。

以下是查看当前cluster里各实例健康状态、权重和驱逐状态的命令,适合在Envoy admin端口执行。这个命令不能直接改权重,但能帮你判断当前节点是被health check判定为unhealthy,还是被outlier driver驱逐。

curl -s http://localhost:9901/clusters?format=json | jq '.cluster_statuses[] | {name, host_statuses: [.host_statuses[] | {hostname, address, health_status, weight, success_rate, eject_time}]}'

如果发现某个节点eject_time有时间值,说明outlier detection已经把它临时移出。此时不要急着手动把它的weight改回100,先检查该节点的错误日志和资源水位;恢复后需要等待base_ejection_time过去,或通过控制面重新下发权重。

验证方式

配置下发后,我会先在测试环境做一种比较简单的验证:把某台后端实例的 /healthz 改为返回503,观察Envoy在2-3个健康检查周期后是否将其标记为unhealthy,并确认新的请求不再分发给它。然后恢复 /healthz 为200,确认该节点能自动回到负载均衡池。

对于重试行为,可以用一个模拟接口或临时把某个节点设成5xx,并观察Envoy的 upstream_rq_retry 和对应主机统计。重点确认重试请求中 previous_hosts 是否生效、有无明显多消耗的重试次数。

建议保留每次修改前的配置文件,并且关注节点被弹出期间的请求成功率变化。不要单凭一两次成功请求,就判断故障已经消除。

回滚和风险边界

需要明确一点:Envoy主动健康检查和outlier detection都带着很强的自动化信号,如果阈值设置过低,可能在节点高负载或慢启动阶段就把它排除,影响整体可用容量。我的建议是:consecutive_5xx先设到3-5,base_ejection_time先设到30秒以上,待运行稳定后再逐步收紧。

回滚动作也很直接:先恢复配置,再重启Envoy或让控制面重新推送旧版本。若不想重启Envoy,给envoy进程发SIGHUP重新加载配置;但如果环境用控制面管理,直接把xDS配置切回上一版即可。

还有一层边界尤其适用于LLM场景:LLM推理请求经常带长上下文,超时时间可能长达几十秒。如果Envoy把某个节点驱逐得太快,已经在节点内执行的推理请求可能被中断,客户端获得reset而不是完整响应。因此base_ejection_time与请求超时时间之间要留出余量,驱逐策略需要结合服务预期最大响应时长来调整。