AI中转站对接本地离线模型时，上游超时与重试策略是一个需要同时考虑模型推理时延、队列积压和请求方体验的问题。核心思路是：把“单次请求超时”和“整体任务超时”分开，用可取消的HTTP客户端配合令牌桶限流，让中转站不因本地模型偶发卡顿而雪崩。下面给出一个可直接改造的Python代码骨架，以及配套的Nginx/网关配置和验证清单。
判断：本地离线模型的上游超时不能只调大或只调小，建议按“快速失败+有限重试+任务级超时兜底”实现。适合场景：中转站与本地模型间链路稳定、模型单次推理耗时波动但可接受。操作动作：为模型调用单独配置连接超时、读取超时和总超时，重试仅用于网络瞬断，不用于模型推理超时。验证方式：用并发压测观察上游超时次数和重试次数，确认重试不会造成积压放大。风险边界：模型本身推理时间过长时，重试会成倍增加模型负载，必须搭配队列上限和熔断开关。
超时参数分层
本地离线模型通常通过HTTP接口暴露推理服务，中转站作为客户端访问它。超时分成四层，每一层的取值依据不同：
- 连接超时（connect timeout）：指TCP建连时间，本地服务一般几毫秒。取值建议1~3秒，超过说明模型服务没起来或网络异常，不需要重试。
- 读取超时（read timeout）：指等待模型返回第一个字节的时间。本地模型如果流式输出，这个值可以宽松；如果非流式一次性返回，需要按最慢单次推理时间设置。取值可以设为30~120秒，但不要无脑设成300秒。
- 总超时（total timeout）：包含连接、发送、读取和重试的整体时间。这是真正给调用方的承诺，建议设成“模型最慢推理时间×2”再加余量。
- 任务级兜底超时：如果中转站后面还有队列或异步任务，单独设置任务最大存活时间，超过后直接丢弃并返回502，避免线程池被长时间占满。
代码实现时，不要只设置一个一揽子的timeout。用httpx或requests可以分别指定，下面是一个基于httpx的接入骨架：
import httpx
import asyncio
from tenacity import (
retry,
stop_after_attempt,
wait_exponential,
retry_if_exception_type
)
from httpx import ConnectError, ReadTimeout, ConnectTimeout