中转站对1024token限制错误码的重试误判:需区分可重试与不可重试错误

文章导读
1024 token限制这类错误,在中转站的重试逻辑里经常被误判成临时故障。实际上它和429限流、503宕机不是一回事:请求本身超出模型窗口上限,重发同样的内容只会拿到同样的错误码。下面这段整理,按“先判断风险、再给处理路径、最后确认边界”的顺序记录。
📋 目录
  1. 一 先别急着让请求自动重发
  2. 二 重试边界只画在瞬时错误上
  3. 三 改造前先确认上游原始error结构
  4. 四 裁剪消息时保留系统提示词,加截断标记
  5. 五 改完后看日志里的这几个字段
  6. 六 回滚边界:用动态配置留住退路
A A

1024 token限制这类错误,在中转站的重试逻辑里经常被误判成临时故障。实际上它和429限流、503宕机不是一回事:请求本身超出模型窗口上限,重发同样的内容只会拿到同样的错误码。下面这段整理,按“先判断风险、再给处理路径、最后确认边界”的顺序记录。

先别急着让请求自动重发

在OpenAI兼容的接口中,1024 token限制通常由400错误码或413请求体过大触发,响应体包含'maximum context length'或'tokens'信息。此类错误表明请求超出模型窗口上限,并非临时故障。重试同一请求只会收到相同错误,属于不可重试错误。而429限流或503临时不可用才应进入重试逻辑。判断时应读取错误码与错误类型,而非仅依赖状态码。

所以判断逻辑要放在“请求从上游返回后、进入重试队列前”这一层。注意400响应里的error.type通常是invalid_request_error,error.code可能是context_length_exceeded。这两种信号都说明应该直接返回给调用方,而不是塞进重试队列。下面这段分类逻辑可以放在网关的响应拦截器里:

def classify_upstream_error(status_code, body):
    if status_code in (429, 500, 502, 503, 504):
        return "retryable"
    if status_code in (400, 413):
        error_type = body.get("error", {}).get("type", "")
        error_code = body.get("error", {}).get("code", "")
        if error_type == "invalid_request_error" or "context_length" in str(error_code):
            return "no_retry"
    return "no_retry"

验证方式很简单:拿一个超过窗口长度的请求跑一次,确认返回no_retry;再临时模拟下游503,确认返回retryable。如果分类结果不对,优先检查网关有没有把上游响应体二次包装,导致取不到error字段。

重试边界只画在瞬时错误上

将1024 token限制误判为可重试错误,会导致同一请求反复打到下游,不仅消耗有限配额,还可能触发更严格的限流。重试风暴会在等待队列中堆积,拖慢后续正常请求。正确的边界是:只对5xx、429、以及网络超时等瞬时错误设置重试次数上限;对4xx中表示请求内容问题的错误,如token超限、参数非法,一律不重试。

中转站对1024token限制错误码的重试误判:需区分可重试与不可重试错误

配置重试策略时,可重试集合要尽量小。网络超时、连接重置、HTTP 5xx和429这四类才应该计入重试。max_attempts表示同一请求最多追加几次尝试,不是包含原始请求的总次数。指数退避间隔建议从500ms起步,每轮乘2,最多追加3次后停止。

{
  "retryable_status": [429, 500, 502, 503, 504],
  "max_attempts": 3,
  "backoff_base_ms": 500,
  "no_retry_error_types": ["invalid_request_error", "context_length_exceeded"],
  "record_request_hash": true
}

验证时,用一个超长上下文请求连续发起,观察重试计数不增加;再临时模拟下游429,确认计数正常增加。注意风险边界:这样配置是为了保护配额,不是提高吞吐,不要把4xx里的鉴权错误也放进可重试集合。

改造前先确认上游原始error结构

常见的坑是仅看错误码中的'1024'或'token'关键词就把它归为限流,实际上限流错误码是429,而token超限往往是400。另外有些中转站会把自定义错误码统一映射为500,导致重试逻辑失效。正确做法是从响应体解析原始error字段,保留上游错误码用于分类,不要自行重新编号。

也就是说,内部记录错误时,不要只存“中转站自定义错误码”。即使中转站返回给调用方的格式需要统一,内部分类也必须基于上游原始值。否则今天靠状态码能猜对,明天上游微调了错误类型,重试逻辑又会被带偏。

中转站对1024token限制错误码的重试误判:需区分可重试与不可重试错误

裁剪消息时保留系统提示词,加截断标记

中转站在检测到1024 token限制错误时,应放弃自动重试,改为向上游调用方返回明确错误提示,或主动进行消息裁剪后重新构造请求。若选择裁剪,需保留系统提示词与最近对话,并添加截断标记。切勿在未修改请求的情况下直接重发,否则会重复占用转发通道,放大延迟。

裁剪只对token超限有效,不适用于其他400错误。实际操作时,系统提示词保留,最近对话保留,历史内容优先丢弃,最后再补一条截断说明,让模型知道上下文不完整。

def trim_messages(messages, system_role="system", max_count=12):
    system_parts = [m for m in messages if m.get("role") == system_role]
    recent_parts = [m for m in messages if m.get("role") != system_role][-max_count:]
    if recent_parts:
        recent_parts.append({
            "role": "system",
            "content": "[context truncated: earlier messages removed due to length limits]"
        })
    return system_parts + recent_parts

裁剪后先对比token数量,再重新构造请求发送。如果仍然返回400,优先检查max_tokens参数是否设置过大,或者保留的最近对话仍然超过窗口长度。风险边界:裁剪是止血措施,不是性能优化,不能依赖它替代合理的上下文管理。

改完后看日志里的这几个字段

在实现重试策略时,先定义可重试错误集合:网络层错误(连接超时)、HTTP 5xx和429。对1024 token限制,检查错误响应中的code或type字段,若为'invalid_request_error'或'context_length_exceeded',则标记为no-retry。同时记录错误时的请求体hash,若相同hash已失败超过一次,直接拒绝重试,防止死循环。

中转站对1024token限制错误码的重试误判:需区分可重试与不可重试错误

日志里至少要能看到:request_id、原始status_code、error.type、error.code、request_hash,以及一个action字段表示最终是blocked还是retry。如果某个400错误的action显示为retry,说明分类逻辑还没生效。

{
  "event": "upstream_error_classified",
  "req_id": "req_8f3a2c",
  "status_code": 400,
  "error_type": "invalid_request_error",
  "error_code": "context_length_exceeded",
  "request_hash": "a3f9c1e2",
  "action": "blocked"
}

观察一段时间,确认所有error_type为invalid_request_error的请求,action都等于blocked。如果出现retry,优先检查日志里的status_code是否经过网关二次改写,或者request_hash是否对应到原始请求体。

回滚边界:用动态配置留住退路

重试策略不是一次性改完就不管。上游接口升级时,错误类型名称可能变化,新的错误类型会落到默认的no_retry分支里。建议把no_retry_error_types做成配置项,不硬编码在代码里,这样遇到新类型时可以快速调整。

回滚时只需回退配置,不要动代码。默认新类型按no-retry处理,确认可重试后再加入白名单。宁可少重试一次,也不要让同一份超长请求反复打到下游。