1024 token限制这类错误,在中转站的重试逻辑里经常被误判成临时故障。实际上它和429限流、503宕机不是一回事:请求本身超出模型窗口上限,重发同样的内容只会拿到同样的错误码。下面这段整理,按“先判断风险、再给处理路径、最后确认边界”的顺序记录。
先别急着让请求自动重发
在OpenAI兼容的接口中,1024 token限制通常由400错误码或413请求体过大触发,响应体包含'maximum context length'或'tokens'信息。此类错误表明请求超出模型窗口上限,并非临时故障。重试同一请求只会收到相同错误,属于不可重试错误。而429限流或503临时不可用才应进入重试逻辑。判断时应读取错误码与错误类型,而非仅依赖状态码。
所以判断逻辑要放在“请求从上游返回后、进入重试队列前”这一层。注意400响应里的error.type通常是invalid_request_error,error.code可能是context_length_exceeded。这两种信号都说明应该直接返回给调用方,而不是塞进重试队列。下面这段分类逻辑可以放在网关的响应拦截器里:
def classify_upstream_error(status_code, body):
if status_code in (429, 500, 502, 503, 504):
return "retryable"
if status_code in (400, 413):
error_type = body.get("error", {}).get("type", "")
error_code = body.get("error", {}).get("code", "")
if error_type == "invalid_request_error" or "context_length" in str(error_code):
return "no_retry"
return "no_retry"验证方式很简单:拿一个超过窗口长度的请求跑一次,确认返回no_retry;再临时模拟下游503,确认返回retryable。如果分类结果不对,优先检查网关有没有把上游响应体二次包装,导致取不到error字段。
重试边界只画在瞬时错误上
将1024 token限制误判为可重试错误,会导致同一请求反复打到下游,不仅消耗有限配额,还可能触发更严格的限流。重试风暴会在等待队列中堆积,拖慢后续正常请求。正确的边界是:只对5xx、429、以及网络超时等瞬时错误设置重试次数上限;对4xx中表示请求内容问题的错误,如token超限、参数非法,一律不重试。
配置重试策略时,可重试集合要尽量小。网络超时、连接重置、HTTP 5xx和429这四类才应该计入重试。max_attempts表示同一请求最多追加几次尝试,不是包含原始请求的总次数。指数退避间隔建议从500ms起步,每轮乘2,最多追加3次后停止。
{
"retryable_status": [429, 500, 502, 503, 504],
"max_attempts": 3,
"backoff_base_ms": 500,
"no_retry_error_types": ["invalid_request_error", "context_length_exceeded"],
"record_request_hash": true
}验证时,用一个超长上下文请求连续发起,观察重试计数不增加;再临时模拟下游429,确认计数正常增加。注意风险边界:这样配置是为了保护配额,不是提高吞吐,不要把4xx里的鉴权错误也放进可重试集合。
改造前先确认上游原始error结构
常见的坑是仅看错误码中的'1024'或'token'关键词就把它归为限流,实际上限流错误码是429,而token超限往往是400。另外有些中转站会把自定义错误码统一映射为500,导致重试逻辑失效。正确做法是从响应体解析原始error字段,保留上游错误码用于分类,不要自行重新编号。
也就是说,内部记录错误时,不要只存“中转站自定义错误码”。即使中转站返回给调用方的格式需要统一,内部分类也必须基于上游原始值。否则今天靠状态码能猜对,明天上游微调了错误类型,重试逻辑又会被带偏。
裁剪消息时保留系统提示词,加截断标记
中转站在检测到1024 token限制错误时,应放弃自动重试,改为向上游调用方返回明确错误提示,或主动进行消息裁剪后重新构造请求。若选择裁剪,需保留系统提示词与最近对话,并添加截断标记。切勿在未修改请求的情况下直接重发,否则会重复占用转发通道,放大延迟。
裁剪只对token超限有效,不适用于其他400错误。实际操作时,系统提示词保留,最近对话保留,历史内容优先丢弃,最后再补一条截断说明,让模型知道上下文不完整。
def trim_messages(messages, system_role="system", max_count=12):
system_parts = [m for m in messages if m.get("role") == system_role]
recent_parts = [m for m in messages if m.get("role") != system_role][-max_count:]
if recent_parts:
recent_parts.append({
"role": "system",
"content": "[context truncated: earlier messages removed due to length limits]"
})
return system_parts + recent_parts裁剪后先对比token数量,再重新构造请求发送。如果仍然返回400,优先检查max_tokens参数是否设置过大,或者保留的最近对话仍然超过窗口长度。风险边界:裁剪是止血措施,不是性能优化,不能依赖它替代合理的上下文管理。
改完后看日志里的这几个字段
在实现重试策略时,先定义可重试错误集合:网络层错误(连接超时)、HTTP 5xx和429。对1024 token限制,检查错误响应中的code或type字段,若为'invalid_request_error'或'context_length_exceeded',则标记为no-retry。同时记录错误时的请求体hash,若相同hash已失败超过一次,直接拒绝重试,防止死循环。
日志里至少要能看到:request_id、原始status_code、error.type、error.code、request_hash,以及一个action字段表示最终是blocked还是retry。如果某个400错误的action显示为retry,说明分类逻辑还没生效。
{
"event": "upstream_error_classified",
"req_id": "req_8f3a2c",
"status_code": 400,
"error_type": "invalid_request_error",
"error_code": "context_length_exceeded",
"request_hash": "a3f9c1e2",
"action": "blocked"
}观察一段时间,确认所有error_type为invalid_request_error的请求,action都等于blocked。如果出现retry,优先检查日志里的status_code是否经过网关二次改写,或者request_hash是否对应到原始请求体。
回滚边界:用动态配置留住退路
重试策略不是一次性改完就不管。上游接口升级时,错误类型名称可能变化,新的错误类型会落到默认的no_retry分支里。建议把no_retry_error_types做成配置项,不硬编码在代码里,这样遇到新类型时可以快速调整。
回滚时只需回退配置,不要动代码。默认新类型按no-retry处理,确认可重试后再加入白名单。宁可少重试一次,也不要让同一份超长请求反复打到下游。