HTTPSConnectionPool耗尽是主因,非网络不稳;默认pool_maxsize=10导致高并发时连接排队超时重试,netstat可查ESTABLISHED持续上涨,Session不关闭或代理配置错误会加剧该问题。

HTTPSConnectionPool 耗尽是主因,不是网络不稳
报 Max retries exceeded with url 时,90% 以上不是因为“连不上网”,而是 requests 默认连接池对每个 host 只维持 pool_maxsize=10 个空闲连接。并发一高(比如开 20 个协程或线程请求同一域名),第 11 个请求就得排队;超时后重试,重试再超时,直到耗尽默认的 3 次重试——错误就爆出来了。
关键信号:Failed to establish a new connection + HTTPSConnectionPool 出现在错误栈里,基本可锁定是连接池卡死,而非 DNS 或证书问题。
- 用
netstat -anp | grep :443 | grep python | wc -l实时看 ESTABLISHED 连接数:持续上涨不回落,说明连接没释放 -
telnet example.com 443或nc -zv example.com 443能通 → 排除防火墙/WAF 层拦截 - 浏览器能打开目标 HTTPS 页面,但 requests 报错 → 基本排除 TLS 握手失败(否则会报
SSLError)
requests.Session() 不关,连接就一直挂着
很多人以为 requests.get() 是“用完即走”,其实它背后复用的是全局连接池;而 requests.Session() 更要命——不显式关闭,连接会一直留在池子里,直到进程退出。长期运行的爬虫(比如每分钟轮询)最容易中招。
- 必须用
with requests.Session() as s:包裹,或手动调s.close() - 别信
s.keep_alive = False:这只是告诉服务器“别保持长连接”,但本地连接池仍可能缓存 socket,不等于释放资源 - 高频场景下,
headers={'Connection': 'close'}是临时止血方案,适合单次请求,但并发高时反而加重开销(每次都要 TCP 握手)
代理配置错一个字母,就变成“假连接”
用代理时,https:// 请求必须配 https 类型的代理,混用 http 代理会导致 urllib3 底层反复尝试降级、握手失败、重试耗尽——现象和连接池满一模一样,但根因完全不同。
将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。
- 代理字典必须严格区分协议:
{"http": "x.x.x.x:8080", "https": "y.y.y.y:8080"},不能只写一个键 - 测试代理是否可用,不能只看
r.status_code == 200;得先确认r.url.startswith('https://'),否则可能是代理把 HTTPS 请求悄悄转成 HTTP 了 - 公司内网常用 HTTP 正向代理(如 squid),此时必须用
http://协议访问 HTTPS 站点(即 CONNECT 隧道),否则直接失败
Retry 策略设得太激进,反而掩盖真问题
很多人一见报错就加 total=10、backoff_factor=1,结果是请求卡住 10 秒才抛错,日志里全是“重试中”,实际是连接池早满了,或者代理根本不可达——重试只是把失败延迟了,没解决阻塞源头。
- 真正该设的是
pool_connections(host 数上限)和pool_maxsize(单 host 连接数),而不是盲目拉高total - 对明确知道会失败的场景(如 429、503),应该用
status_forcelist控制重试,避免对 403、404 也傻重试 - 生产环境务必加超时:
s.get(url, timeout=(3.05, 27)),第一个数是 connect timeout,第二个是 read timeout;不设 timeout,连接池卡死更难诊断
最麻烦的情况是三者叠加:用了代理(本身有连接限制)、目标站启用了 WAF(对异常 User-Agent 或 TLS 指纹拦截)、又没调大 pool_maxsize——这时哪怕只发 5 个并发请求也会崩。排查顺序永远是:先 telnet 看网络层,再 netstat 看连接数,最后才动代码里的 retry 和 headers。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










