ConnectionResetError 通常是服务端反爬机制导致的主动断连,而非代码缺陷;应禁用连接复用、配置合理重试策略、添加随机延时并监控响应头以识别真实意图。

ConnectionResetError 通常不是代码问题,而是服务端主动断连
遇到 ConnectionResetError: [Errno 104] Connection reset by peer,别急着改重试逻辑——这大概率是目标网站的反爬机制在起作用,比如 Nginx 配置了超短空闲超时、CDN 主动 kill 长连接,或后端服务(如 Flask/Django)未正确处理 Keep-Alive。Python 的 requests 默认复用连接,但若服务端单方面关闭 TCP 连接而客户端 unaware,下一次复用就会触发该错误。
实操建议:
- 在
requests.Session()中显式禁用连接复用:session.headers.update({'Connection': 'close'}),避免复用已失效的 socket - 对高并发请求,优先用
urllib3.util.retry.Retry控制重试行为,而非简单 try-except + time.sleep() - 检查是否用了代理池或固定 User-Agent:某些代理节点被封后会直接 RST,换真实出口 IP 更有效
requests + urllib3 的重试策略必须绕过连接池缓存
默认的 requests.adapters.HTTPAdapter 会把失败连接留在池里,下次仍可能复用。直接设置 max_retries 不够,得确保重试时重建底层连接。
实操建议:
- 用
urllib3.util.retry.Retry构造 retry 实例,明确指定raise_on_status=False和respect_retry_after_header=True - 关键一步:给
HTTPAdapter传入pool_connections=0和pool_maxsize=0(或设为小值如 2),强制每次请求新建连接池,规避 stale socket - 示例片段:
from urllib3.util.retry import Retry<br>from requests.adapters import HTTPAdapter<br><br>retry_strategy = Retry(<br> total=3,<br> backoff_factor=1,<br> status_forcelist=[429, 500, 502, 503, 504],<br> allowed_methods=["HEAD", "GET", "OPTIONS"]<br>)<br>adapter = HTTPAdapter(max_retries=retry_strategy, pool_connections=2, pool_maxsize=2)
异步场景下 aiohttp 的 connection_reset 处理更敏感
aiohttp.ClientSession 默认启用连接池且复用粒度更细,ConnectionResetError 在高并发下更容易暴露。它不像 requests 那样能靠 header 强制 close,需从 connector 层控制。
Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期,并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看,该技能
实操建议:
- 初始化 session 时传入自定义
aiohttp.TCPConnector,设force_close=True和limit=10(避免耗尽本地端口) - 捕获异常时注意区分:
aiohttp.ClientConnectorError是建连失败,aiohttp.ServerDisconnectedError才对应服务端 RST;两者都应纳入重试范围 - 不要在协程内用
time.sleep(),改用await asyncio.sleep(1),否则阻塞整个 event loop
真正稳定的方案往往要跳出“重试”思维
频繁 ConnectionResetError 往往意味着当前请求节奏已触发服务端防御阈值。硬加重试只会让 IP 更快进黑名单。
实操建议:
- 加随机延时比固定 delay 更有效:用
random.uniform(0.5, 3.0)替代time.sleep(1) - 记录失败 URL + timestamp,做失败频次统计,自动降级请求频率(例如连续 3 次失败则 sleep 增至 5s)
- 最省事的解法:换请求方式——用
selenium或playwright启动真实浏览器,绕过连接层检测(适合低频关键页面)
网络波动只是表象,背后常是反爬水位线在浮动。盯着错误码修逻辑,不如盯着响应头里的 Server、X-Powered-By 和 Retry-After 字段看服务端真实意图。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










