使用Envoy代理实现AI网关密钥轮换,无需重启服务

文章导读
在AI网关场景中,密钥轮换通常由安全合规要求或泄露风险触发。当密钥有效期接近尾声、疑似泄露或需要按季度更换时,传统做法是修改配置文件后重启Envoy,但这会导致正在进行的推理请求中断、连接池重建,甚至引发上游服务限流。判断是否需要引入无重启轮换机制,可以观察当前网关是否承担持续在线业务、重启窗口是否难以安排、以及是否有多实例同时使用同一密钥的情况。如果满足其中任意两项,就值得为Envoy配置动态密
📋 目录
  1. Ⅰ 先判断是不是必须走动态轮换
  2. Ⅱ SDS是首选,但先要把资源名和刷新周期对齐
  3. Ⅲ 没有xDS控制面时,用文件挂载加admin接口也能免重启
  4. Ⅳ 验证轮换是否真的生效,不要只看文件时间戳
  5. Ⅴ 轮换窗口和失败回滚是容易忽略的边界
A A

在AI网关场景中,密钥轮换通常由安全合规要求或泄露风险触发。当密钥有效期接近尾声、疑似泄露或需要按季度更换时,传统做法是修改配置文件后重启Envoy,但这会导致正在进行的推理请求中断、连接池重建,甚至引发上游服务限流。判断是否需要引入无重启轮换机制,可以观察当前网关是否承担持续在线业务、重启窗口是否难以安排、以及是否有多实例同时使用同一密钥的情况。如果满足其中任意两项,就值得为Envoy配置动态密钥更新能力。

先判断是不是必须走动态轮换

如果网关只服务于内部测试环境,重启一次影响不大,那直接改配置重启反而更省事。真正需要无重启轮换的场景,通常是上游模型服务对连接中断很敏感,或者多个网关实例共享同一份密钥配置,逐个重启会造成一段时间的密钥不一致。另一个信号是密钥轮换频率较高,比如按季度或按月更换,每次都申请变更窗口很难推进。满足这些条件中的两项,再考虑SDS或文件监听方案,否则不必为了“动态”而动态。

SDS是首选,但先要把资源名和刷新周期对齐

推荐优先采用Envoy的SDS(Secret Discovery Service)机制来实现密钥轮换。具体做法是编写一个轻量的SDS服务器,或者利用现成的xDS控制面,将密钥以动态资源的形式下发。在Envoy配置中,将TLS证书和私钥的引用改为SDS配置源,并设置合适的刷新周期。当需要轮换时,只需更新SDS服务器中的密钥内容,Envoy会通过Watch机制感知变化并加载新密钥,全程无需重启进程。注意SDS连接需要配置好超时和重试策略,避免临时网络抖动导致密钥加载失败。

这里最容易出问题的是资源名。Envoy侧tls_certificate_sds_secret_configs里写的name,必须和SDS服务器返回的资源name完全一致,包括大小写和路径分隔符。建议在SDS服务器端打日志,每次Envoy发起Watch请求时记录请求的资源名,再和配置里的name比对。刷新周期不能设得太短,否则SDS服务器压力大;也不要太长,否则轮换生效延迟高。通常可以先从60秒开始,确认生效延迟后按需调整。

# Envoy listener 片段,TLS证书通过SDS动态下发
listener:
  filter_chains:
  - transport_socket:
      name: envoy.transport_sockets.tls
      typed_config:
        "@type": type.googleapis.com/envoy.extensions.transport_sockets.tls.v3.DownstreamTlsContext
        common_tls_context:
          tls_certificate_sds_secret_configs:
          - name: ai_gateway_cert
            sds_config:
              api_config_source:
                api_type: GRPC
                transport_api_version: V3
                grpc_services:
                - envoy_grpc:
                    cluster_name: sds_cluster
                refresh_delay: 60s

上述配置里,ai_gateway_cert就是Envoy请求的资源名,需要和SDS服务器返回的一致。如果配置后日志里出现“Secret not found”或“resource name mismatch”,优先查SDS服务器的资源列表,而不是查证书文件本身。

使用Envoy代理实现AI网关密钥轮换,无需重启服务

没有xDS控制面时,用文件挂载加admin接口也能免重启

如果团队暂时没有完整的xDS控制面,也可以采用替代方案:通过挂载卷更新密钥文件,并利用Envoy的SDS静态文件功能,配合外部命令触发Envoy的配置重载。例如,将密钥文件放在共享卷中,使用脚本监控文件变化,然后调用Envoy的admin接口(如POST /reload)让SDS重新读取。这种方式比全动态SDS简单,但依然能避免重启服务。需要注意,admin接口需要绑定在内网地址并启用访问控制,防止未授权操作。此方案适合密钥更新频率较低的场景。

这里的关键是触发方式。直接用curl调用admin接口前,先确认admin接口的访问地址和权限配置,通常是`--admin-address-path`参数指定的路径,或者bootstrap里配置的address。调用了reload之后,SDS会重新读取静态文件,但不会重建listener,所以连接不会中断。

# 更新密钥文件后,触发Envoy重新读取SDS静态文件
# 先确认admin接口地址,例如/var/run/envoy/admin.sock
curl `--unix-socket` /var/run/envoy/admin.sock -X POST "http://localhost/reload"
# 然后确认日志里出现sds reload相关条目

执行这个命令前,最好先检查密钥文件权限,Envoy进程用户必须能读取新文件。失败时常见现象是日志里没有错误,但TLS握手仍然用旧证书。此时可以查看admin接口的/logging,临时把sds和secret的日志级别调到debug,再触发一次reload。

验证轮换是否真的生效,不要只看文件时间戳

验证密钥是否已成功轮换,可以在不重启Envoy的前提下,通过查看Envoy的日志或使用admin接口的config_dump命令来确认SDS资源的版本变化。更直接的方法是发起一个请求到网关,观察TLS握手是否使用了新证书;同时注意检查旧密钥是否在内存中被丢弃。建议在测试环境中先做一次轮换演练,确认从更新SDS服务器到Envoy实际生效的延迟符合预期。如果使用文件挂载方式,可以周期性比较文件变更时间与Envoy日志中的加载时间,确保两者一致。

# 查看Envoy当前SDS资源的版本信息
curl -s `--unix-socket` /var/run/envoy/admin.sock "http://localhost/config_dump?resource=sds" | jq '.configs[0].sds_secrets'
# 对比轮换前后输出的version_info是否发生变化

如果config_dump里没有sds_secrets字段,说明当前配置没有使用SDS,或者admin接口的权限限制了该资源。另一种验证方式是抓取TLS握手时的证书指纹,可以用openssl s_client连接网关端口,对比证书序列号与SDS服务器上的新证书是否一致。

使用Envoy代理实现AI网关密钥轮换,无需重启服务

轮换窗口和失败回滚是容易忽略的边界

动态轮换虽然免重启,但并非零风险。SDS模式下,Envoy与SDS服务器之间存在网络依赖,如果SDS服务器短暂不可用,Envoy会继续使用本地缓存的密钥,但此时如果上游强制校验密钥版本,可能引发握手失败。另外,密钥轮换存在一个时间窗口,旧密钥和新密钥可能会短暂同时被接受,这是正常的,但需要确保监控体系能识别这个窗口,避免误报。对于强一致性的安全要求,建议将轮换窗口控制在分钟级,并在业务低峰期执行。

一个常见的坑是只在Envoy中更新了证书文件,但没有通知Envoy重新加载,导致轮换看似执行了实际未生效。另一个坑是SDS资源名不匹配,Envoy配置中引用的资源名与SDS服务器返回的资源名不一致,导致请求失败。此外,如果密钥格式不正确(比如包含多余空格或换行),Envoy可能无法解析并回退到旧配置,且日志中不一定有明显的错误提示。建议在更新密钥后立即检查Envoy的日志级别,并配置告警规则来捕获TLS握手异常。

回滚时不需要重启Envoy,直接把SDS服务器或文件卷里的密钥内容换成旧版本即可。但如果Envoy已经加载了新密钥,回滚后需要再次触发一次SDS更新。建议保留上一份密钥的备份,至少保留一个轮换周期。日志里如果出现“TLS error”或“certificate verify failed”,先看时间点是否和轮换窗口重合,再做回滚判断。监控告警可以围绕TLS握手失败率、SDS服务器连接状态和config_dump版本变化来设置,但具体阈值需要结合环境确认。

整体来说,无重启轮换不是一个独立的配置项,而是一套“更新源、触发加载、验证生效、失败回滚”的流程。先确定密钥来源是SDS服务器还是文件卷,再选择对应的触发方式,最后用config_dump和实际请求做双重确认。如果团队已经有xDS控制面,优先走SDS;如果只是临时需求,文件挂载加admin接口也能解决。但无论哪种方式,都要先做一次演练,把资源名、刷新周期和回滚路径都跑通。