在Kubernetes中用External Secrets Operator自动轮换AI中转站密钥

文章导读
处理这类问题,我通常先分三层确认:ESO有没有同步新值、Secret里是不是已经更新、Pod实际读到的是什么。三层对齐了,再谈改配置。
📋 目录
  1. 壹 先确认现象:是Secret没更新,还是应用没读到
  2. 贰 容易误判的地方:subPath和进程内缓存
  3. 叁 基础配置:SecretStore和ExternalSecret
  4. 肆 让应用感知轮换:优先卷挂载,而不是环境变量
  5. 伍 验证、回滚和风险边界
  6. 陆 后续维护
A A

处理这类问题,我通常先分三层确认:ESO有没有同步新值、Secret里是不是已经更新、Pod实际读到的是什么。三层对齐了,再谈改配置。

先确认现象:是Secret没更新,还是应用没读到

排查时我会同时看ExternalSecret的状态、Secret的数据和Pod里的文件。ExternalSecret显示Ready但Secret是旧的,问题在Provider;Secret是新的但Pod里是旧的,问题在挂载方式。下面四条命令按顺序执行:

kubectl get externalsecret -n your-namespace
kubectl describe externalsecret your-external-secret
kubectl get secret your-secret -o jsonpath='{.data.api-key}' | base64 -d
kubectl exec -it your-pod -n your-namespace -- cat /app/secrets/api-key

前两条看同步状态,第三条看Secret实际值,第四条看Pod挂载的文件。第三条和第四条不一致,就按下面的方式查。

容易误判的地方:subPath和进程内缓存

Secret更新了但应用仍用旧值,常见原因是volumeMounts用了subPath,或者应用只启动时读了一次密钥。subPath挂载不会在Secret内容变化时刷新文件,这是最容易踩的坑。

  1. 检查volumeMounts是否包含subPath,有则去掉。
  2. 用kubectl exec进Pod查看实际文件,和Secret对比。
  3. 如果文件已经新了但应用还报401,就要查应用缓存,改成每次请求读文件。

基础配置:SecretStore和ExternalSecret

使用External Secrets Operator时,不要直接把AI中转站密钥放在Kubernetes Secret里,而是先放到支持自动轮换的提供商处(例如AWS Secrets Manager、Vault或云厂商的密钥管理服务)。在集群中创建SecretStore,指定provider和后端路径,再通过ExternalSecret声明需要同步的键名。ESO会按你设置的refreshInterval定期拉取远端值,并写入对应的Kubernetes Secret对象。对于AI中转站这类高频调用的密钥,建议将refreshInterval设为5-10分钟,既能及时感知轮换,又不至于频繁触发Provider API。

下面用AWS Secrets Manager作为Provider,创建一个SecretStore:

apiVersion: external-secrets.io/v1beta1
kind: SecretStore
metadata:
  name: aws-secretstore
spec:
  provider:
    aws:
      service: SecretsManager
      region: us-east-1
      auth:
        secretRef:
          accessKeyIDSecretRef:
            name: aws-credentials
            key: access-key
          secretAccessKeySecretRef:
            name: aws-credentials
            key: secret-access-key

再创建ExternalSecret,指定同步的键和刷新周期:

apiVersion: external-secrets.io/v1beta1
kind: ExternalSecret
metadata:
  name: ai-gateway-key
spec:
  refreshInterval: 5m
  secretStoreRef:
    name: aws-secretstore
    kind: SecretStore
  target:
    name: ai-gateway-secret
  data:
  - secretKey: api-key
    remoteRef:
      key: ai-gateway/prod/api-key

refreshInterval写成“5m”表示5分钟。创建后用kubectl describe externalsecret检查状态,如果是Error,优先看SecretStore权限和远端路径。

让应用感知轮换:优先卷挂载,而不是环境变量

为了让应用感知密钥轮换,尽量不要把Secret以环境变量方式注入,因为进程启动后环境变量不会更新。推荐将Secret挂载为卷文件,例如在Deployment中把secret挂载到/app/secrets目录,应用每次请求时都读取该文件。这样ESO一旦更新Secret数据,挂载的文件内容会在几秒内刷新,应用无需重启。若必须使用环境变量,可配合Stakater Reloader等工具,监听Secret变更并触发Pod滚动重启,但这会带来短暂中断,适合可容忍重启的服务。

Deployment的卷挂载片段如下,注意不要加subPath:

spec:
  template:
    spec:
      containers:
      - name: api-server
        image: your-image:latest
        volumeMounts:
        - name: secret-volume
          mountPath: /app/secrets
          readOnly: true
      volumes:
      - name: secret-volume
        secret:
          secretName: ai-gateway-secret

应用代码每次请求时读 /app/secrets/api-key 文件,不要在启动时缓存。改完后手动改一次远端密钥,等ESO同步,再进Pod看文件是否更新。

验证、回滚和风险边界

一个容易踩的坑是:ESO更新了Kubernetes Secret,但应用仍在用旧值,因为Secret被副本或ConfigMap在启动时缓存。检查是否使用了subPath挂载,因为subPath不会触发文件更新。另外,如果Secret被多个Deployment引用,修改后需要确认所有Pod都挂载了最新数据。用kubectl exec进入Pod查看实际文件内容,比直接kubectl get secret更可靠。若发现内容未刷新,先看ESO的SecretStore状态和ExternalSecret的Reconciling条件,再检查Provider的权限是否收窄。

回滚时建议采用先添加后删除的策略:先在外部提供商创建新key,等ESO同步并确认应用已使用新key,再删除旧key。如果出现401/403,把远端Secret改回旧值,或回滚Deployment。ESO只负责同步,不负责AI中转站侧的密钥生命周期;真正的自动轮换需要上游支持管理API,否则ESO只能同步你的手动变更。

后续维护

把远端密钥有效期和ESO同步状态加进监控。ESO解决的是Kubernetes里的Secret保鲜,不解决上游key是否有效。先确认上游能力,再决定是否投入ESO改造,能省掉不少无效排查。