对接 openai chat.completions 的时候,很多人会在外层加 retry-go,但上下文取消和重试策略经常互相干扰。下面这组处理方式不依赖具体 retry-go 版本,也不保证所有 SDK 都一致,但大致逻辑是通用的。
要准确判断是否因上下文取消导致失败,不能直接比较err == context.Canceled,因为OpenAI SDK通常会用fmt.Errorf或errors.Wrap包装错误。正确方式是使用errors.Is(err, context.Canceled)或errors.Is(err, context.DeadlineExceeded),同时要确保import的是标准库context。如果错误被多次包装,errors.Is会递归解包。另外要注意,chat.completions可能返回自定义错误类型,这时需要先检查errors.As,判断错误链中是否存在*openai.APIError,再结合StatusCode等判断是否因客户端取消。
先看冲突从哪来
在使用retry-go包装chat.completions时,最典型的冲突是:上层调用方取消context后,chat.completions返回的error实际上是一个包装了context.Canceled或context.DeadlineExceeded的普通错误,而retry-go默认的RetryIf会把这个错误当作临时故障继续重试。这种判断的根源在于retry-go并不感知chat.completions内部对context的处理,它只看到返回的err。因此必须先识别这个错误是否来自上下文取消,才能决定是否应该重试。
也就是说,retry-go 的重试逻辑只认 error,不认 ctx。你要在 RetryIf 里自己区分“临时错误”和“取消错误”。
先别急着改配置,先识别错误链
不能用 err == context.Canceled 判断。由于 SDK 通常会把错误包装过,要用 errors.Is 递归解包。下面这段适合放在 retry.New 或 retry.Do 的 RetryIf 里:
retry.RetryIf(func(err error) bool {
return !errors.Is(err, context.Canceled) && !errors.Is(err, context.DeadlineExceeded)
})这样上下文取消导致的失败直接返回 false,retry-go 不放下一次重试。做完这个,还要在 Do 的匿名函数开头加一道检查。
err := retry.Do(
func() error {
if err := ctx.Err(); err != nil {
return err
}
// 继续调用 chat.completions
return nil
},
// 选项...
)这个检查的目的是避免取消后还发起一次无效请求。注意这里返回的 err 是 ctx.Err(),它会被 RetryIf 按上面规则过滤。
操作建议:把取消排除在重试列表外
在使用retry-go的RetryIf回调中,将上下文取消相关错误排除在重试列表外。具体写法:retry.RetryIf(func(err error) bool { return !errors.Is(err, context.Canceled) && !errors.Is(err, context.DeadlineExceeded) })。同时,在传给Do的匿名函数开头,先检查ctx.Err(),如果非nil就直接返回error,这样可以避免在取消后仍发起一次无效的chat.completions请求。这两个动作配合,能确保用户取消操作后retry-go立即停止,而不是消耗完所有Attempts。
上面的代码就是这句话落地后的样子。注意 RetryIf 和函数开头的 ctx.Err() 检查缺一不可:前者控制重试的启动条件,后者控制当前尝试是否发出。
边界:父 context 取消与派生 context
另一个容易踩的边界是:如果调用了retry.Context(ctx),retry-go会监听该context的取消信号,但前提是你在这个context派生出的子context也应该使用同一个取消源。如果你在重试函数内部用context.WithTimeout(ctx, time.Second)创建了子context传给chat.completions,父context取消后子context也会被取消,这是安全的。但如果你不小心用了context.Background()或context.TODO()作为API请求的context,那么父取消就完全失效了,retry-go和chat.completions都不会收到取消指令。
所以检查时不要只看 RetryIf。如果你看到重试还在跑,先确认传给 chat.completions 的 context 是不是从调用方的 ctx 一路传下来的。子 context 必须从父 context 派生,而不是从 Background 起新分支。
改完后看这几个信号
业务里建议把重试间隔和错误链打出来。下面这行可以放进 OnRetry:
retry.OnRetry(func(n uint, err error) {
log.Printf("retry %d after %v, ctx err=%v", n, err, ctx.Err())
})重点看两个信号:ctx err 是否已经变成 context canceled;err 的错误链是否包含 context.Canceled。如果 ctx err 已经非 nil 但 retry 还在继续,说明 RetryIf 没有过滤掉,或者 OnRetry 之前已经多调度了一次。另一个办法是最后调用 retry.LastError,取出最后一次错误并打包装链,确认它是不是从取消来的。
如果发现 retry-go 仍然多打了几次,优先检查 RetryIf 是否真的生效,以及你传给 retry.Do 的 context 和你调用 API 的 context 是不是同一个取消源。不要先怀疑 SDK 的返回。