用Python的urllib3重试LLM请求时连接池状态与无效重试发生概率

文章导读
接到一个LLM服务调用超时的排查任务,客户端用的是urllib3,重试次数已经加到5次,但服务端日志显示请求根本没到,客户端这边一直报ConnectionError。这种时候,先别急着继续调大重试次数,应该先确认连接池里到底发生了什么。
📋 目录
  1. 一 先确认异常类型和连接状态
  2. 二 容易误判的半开连接
  3. 三 建议的处理顺序:先关旧连接,再改重试
  4. 四 验证重试是否真正生效
  5. 五 容易被忽略的两个坑
A A

接到一个LLM服务调用超时的排查任务,客户端用的是urllib3,重试次数已经加到5次,但服务端日志显示请求根本没到,客户端这边一直报ConnectionError。这种时候,先别急着继续调大重试次数,应该先确认连接池里到底发生了什么。

先确认异常类型和连接状态

当urllib3发起请求前,连接池会从空闲连接中挑选一个可用的连接。如果这个连接在服务端已经关闭,但客户端尚未感知,重试时将直接复用该连接,导致请求在TCP层发送后得不到响应,直至超时才抛异常。判断是否属于无效重试,可以观察异常类型是否为ProtocolError或ConnectionError,并在重试日志中记录connection对象的is_closed属性。如果is_closed为False但请求仍然失败,则很可能遇到了连接处于半开状态的情况,此时重试本身不会带来任何收益。

所以排查的第一步,是在重试回调里把每个连接对象的状态打出来,而不是只看异常类型。半开连接在客户端看来仍然属于“打开”状态,is_closed返回False,但服务端已经不再维护这条连接,数据发出去就石沉大海。

容易误判的半开连接

半开连接很难直接从异常层面区分。你可以用系统命令确认当前TCP连接的实际状态:

用Python的urllib3重试LLM请求时连接池状态与无效重试发生概率
lsof -i :8000 | grep ESTABLISHED
netstat -an | grep 8000 | grep CLOSE_WAIT

如果客户端到服务端的连接大量处于CLOSE_WAIT,或者长时间ESTABLISHED但没有数据流动,说明连接池里的连接已经陈腐,复用它们进行重试,只会重复同样的超时。

建议的处理顺序:先关旧连接,再改重试

确认了连接池存在陈腐连接之后,下一步才是修改重试逻辑。在实现重试逻辑时,建议在每次重试前调用conn.close()显式关闭旧的连接,或者通过http.clear_pool()清空整个连接池。更稳妥的做法是每次重试都新建一个HTTPConnectionPool实例,但这会破坏keep-alive的复用优势。折中方案是使用urllib3的Retry类,在失败后通过clean_after_forward功能让urllib3在请求失败后自动丢弃该连接,确保下一次重试使用全新连接。注意,clean_after_forward仅对转发请求有效,对于流式上传需要额外处理。

这段建议里,最需要根据你调用LLM接口的方式做选择。如果LLM接口走的是HTTP转发,clean_after_forward通常够用;如果是流式上传或流式响应,建议在重试回调里显式关闭旧连接,并确认请求体可以重新生成。

一个可用的Retry配置

下面是一个兼容POST请求的Retry配置,同时设置了合理的超时和连接池上限:

用Python的urllib3重试LLM请求时连接池状态与无效重试发生概率
from urllib3 import PoolManager, Retry
from urllib3.util.timeout import Timeout

retries = Retry(
    total=4,
    connect=2,
    read=2,
    status=2,
    allowed_methods=['GET', 'POST'],
    clean_after_forward=True,
    status_forcelist=[502, 503, 504],
    backoff_factor=0.8
)

http = PoolManager(
    maxsize=10,
    block=True,
    timeout=Timeout(connect=2.0, read=8.0),
    retries=retries
)

allowed_methods里显式加入'POST'很关键,否则默认只会重试幂等请求。maxsize是连接池最大连接数,block=True让池满时排队而不是立即抛错。这里的maxsize对应通常所说的pool_maxsize,不同版本参数名可能有差异,使用时检查当前urllib3版本。

验证重试是否真正生效

配置完成后,不要只盯着最终成功与否,要在日志里确认连接复用情况。urllib3的HTTPConnectionPool公开了num_connections和num_requests两个属性,重试时打印这两项:

resp = http.request('POST', 'https://your-llm-endpoint', body=json_body)
pool = http.connection_from_host('your-llm-endpoint')
print({'num_connections': pool.num_connections,
       'num_requests': pool.num_requests})

如果num_connections增长很少,而num_requests增长很多,说明请求大量复用连接。如果此时重试仍然反复失败,就要怀疑复用的是不是已经失效的连接。正常情况,每次失败后带着clean_after_forward,连接会被丢弃,随后新建连接,因此num_connections也会相应增加。

用Python的urllib3重试LLM请求时连接池状态与无效重试发生概率

容易被忽略的两个坑

除了连接池状态,重试本身还有两个常见的坑。一个容易忽略的坑是:urllib3的Retry默认不重试POST请求,除非在allowed_methods中显式加入'POST',否则无论连接池状态如何,POST请求的重试都不会发生。另一个坑是,当请求体是一个生成器或流式对象时,第一次发送后请求体已被消费,重试时若没有重新生成body,会导致请求体为空或数据不完整。因此,在重试逻辑外,务必确保请求体可被重复生成,或者将请求体缓存到内存/临时文件中,否则即使连接池状态正常,重试也会因为请求体缺失而失败。

如果你在处理LLM请求时使用了上传文件或流式输入,建议在重试前把请求体重新构造一次,或者统一改成可重复读的bytes对象。连接池状态只是重试有效性的一个维度,请求体是否可重复生成同样决定了重试能否成功。

另外,连接池的大小不是越大越好。池子过大,可能让服务端因为连接数超过预期而主动断开空闲连接,反而制造更多半开连接。可以先从较小的maxsize开始观察,再结合服务端实际的keep-alive超时时间做调整,在测试环境里模拟连接被服务端强行关闭的场景,比单纯调大重试次数更有意义。