接到一个LLM服务调用超时的排查任务,客户端用的是urllib3,重试次数已经加到5次,但服务端日志显示请求根本没到,客户端这边一直报ConnectionError。这种时候,先别急着继续调大重试次数,应该先确认连接池里到底发生了什么。
先确认异常类型和连接状态
当urllib3发起请求前,连接池会从空闲连接中挑选一个可用的连接。如果这个连接在服务端已经关闭,但客户端尚未感知,重试时将直接复用该连接,导致请求在TCP层发送后得不到响应,直至超时才抛异常。判断是否属于无效重试,可以观察异常类型是否为ProtocolError或ConnectionError,并在重试日志中记录connection对象的is_closed属性。如果is_closed为False但请求仍然失败,则很可能遇到了连接处于半开状态的情况,此时重试本身不会带来任何收益。
所以排查的第一步,是在重试回调里把每个连接对象的状态打出来,而不是只看异常类型。半开连接在客户端看来仍然属于“打开”状态,is_closed返回False,但服务端已经不再维护这条连接,数据发出去就石沉大海。
容易误判的半开连接
半开连接很难直接从异常层面区分。你可以用系统命令确认当前TCP连接的实际状态:
lsof -i :8000 | grep ESTABLISHED
netstat -an | grep 8000 | grep CLOSE_WAIT如果客户端到服务端的连接大量处于CLOSE_WAIT,或者长时间ESTABLISHED但没有数据流动,说明连接池里的连接已经陈腐,复用它们进行重试,只会重复同样的超时。
建议的处理顺序:先关旧连接,再改重试
确认了连接池存在陈腐连接之后,下一步才是修改重试逻辑。在实现重试逻辑时,建议在每次重试前调用conn.close()显式关闭旧的连接,或者通过http.clear_pool()清空整个连接池。更稳妥的做法是每次重试都新建一个HTTPConnectionPool实例,但这会破坏keep-alive的复用优势。折中方案是使用urllib3的Retry类,在失败后通过clean_after_forward功能让urllib3在请求失败后自动丢弃该连接,确保下一次重试使用全新连接。注意,clean_after_forward仅对转发请求有效,对于流式上传需要额外处理。
这段建议里,最需要根据你调用LLM接口的方式做选择。如果LLM接口走的是HTTP转发,clean_after_forward通常够用;如果是流式上传或流式响应,建议在重试回调里显式关闭旧连接,并确认请求体可以重新生成。
一个可用的Retry配置
下面是一个兼容POST请求的Retry配置,同时设置了合理的超时和连接池上限:
from urllib3 import PoolManager, Retry
from urllib3.util.timeout import Timeout
retries = Retry(
total=4,
connect=2,
read=2,
status=2,
allowed_methods=['GET', 'POST'],
clean_after_forward=True,
status_forcelist=[502, 503, 504],
backoff_factor=0.8
)
http = PoolManager(
maxsize=10,
block=True,
timeout=Timeout(connect=2.0, read=8.0),
retries=retries
)allowed_methods里显式加入'POST'很关键,否则默认只会重试幂等请求。maxsize是连接池最大连接数,block=True让池满时排队而不是立即抛错。这里的maxsize对应通常所说的pool_maxsize,不同版本参数名可能有差异,使用时检查当前urllib3版本。
验证重试是否真正生效
配置完成后,不要只盯着最终成功与否,要在日志里确认连接复用情况。urllib3的HTTPConnectionPool公开了num_connections和num_requests两个属性,重试时打印这两项:
resp = http.request('POST', 'https://your-llm-endpoint', body=json_body)
pool = http.connection_from_host('your-llm-endpoint')
print({'num_connections': pool.num_connections,
'num_requests': pool.num_requests})如果num_connections增长很少,而num_requests增长很多,说明请求大量复用连接。如果此时重试仍然反复失败,就要怀疑复用的是不是已经失效的连接。正常情况,每次失败后带着clean_after_forward,连接会被丢弃,随后新建连接,因此num_connections也会相应增加。
容易被忽略的两个坑
除了连接池状态,重试本身还有两个常见的坑。一个容易忽略的坑是:urllib3的Retry默认不重试POST请求,除非在allowed_methods中显式加入'POST',否则无论连接池状态如何,POST请求的重试都不会发生。另一个坑是,当请求体是一个生成器或流式对象时,第一次发送后请求体已被消费,重试时若没有重新生成body,会导致请求体为空或数据不完整。因此,在重试逻辑外,务必确保请求体可被重复生成,或者将请求体缓存到内存/临时文件中,否则即使连接池状态正常,重试也会因为请求体缺失而失败。
如果你在处理LLM请求时使用了上传文件或流式输入,建议在重试前把请求体重新构造一次,或者统一改成可重复读的bytes对象。连接池状态只是重试有效性的一个维度,请求体是否可重复生成同样决定了重试能否成功。
另外,连接池的大小不是越大越好。池子过大,可能让服务端因为连接数超过预期而主动断开空闲连接,反而制造更多半开连接。可以先从较小的maxsize开始观察,再结合服务端实际的keep-alive超时时间做调整,在测试环境里模拟连接被服务端强行关闭的场景,比单纯调大重试次数更有意义。