怎么处理Python爬虫中的Timeout超时异常_通过requests设置timeout参数与重试机制-Python教程-PHP中文网

requests.get() 的 timeout 参数推荐设为元组形式如 (3, 7)，即连接超时3秒、读取超时7秒，兼顾稳定性与效率；需配合 HTTPAdapter 重试策略（total=3、backoff_factor=1、status_forcelist含5xx和429）并统一捕获 requests.exceptions.RequestException。

怎么处理python爬虫中的timeout超时异常_通过requests设置timeout参数与重试机制

requests.get() 的 timeout 参数到底设多少合适

超时时间不是越长越好，也不是越短越安全。设太短（比如 timeout=0.5）会导致大量正常请求被误判为超时；设太长（比如 timeout=60）会让爬虫卡死在单个失败请求上，拖慢整体速度。

实际中建议分层设置：timeout=(3, 7) —— 前者是连接超时（DNS解析+TCP握手），后者是读取超时（等待响应体）。多数网站响应在 3 秒内建立连接、7 秒内返回完整内容，这个组合能兼顾稳定性与效率。

如果目标网站延迟高或网络不稳定，可放宽到 (5, 15)，但不要超过 (10, 30)
绝对避免只传一个数字（如 timeout=10），那会同时作用于连接和读取，无法区分是连不上还是卡在传输中
某些 CDN 或反爬中间件会在连接建立后故意延迟首字节，此时读取超时需单独调大，连接超时保持严格

用 requests.adapters.HTTPAdapter 配置重试策略

单纯捕获 requests.exceptions.Timeout 然后手动循环重试，容易失控（无限重试、无退避、无状态跟踪）。应该交给 urllib3 底层的重试机制来管。

关键点在于：必须显式挂载带重试配置的 HTTPAdapter 到 session，否则 requests.get() 默认不重试任何错误。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

创建 session 后，用 session.mount('http://', adapter) 和 session.mount('https://', adapter) 分别挂载
重试次数建议设 total=3，避免对已失效域名反复消耗资源；status_forcelist=[429, 500, 502, 503, 504] 可补充服务端错误重试
一定要加 backoff_factor=1，这样第 1 次重试延迟 1s，第 2 次 2s，第 3 次 4s（指数退避），而不是扎堆重发

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retry_strategy = Retry(
    total=3,
    backoff_factor=1,
    status_forcelist=[429, 500, 502, 503, 504],
    allowed_methods=["HEAD", "GET", "OPTIONS"]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount("http://", adapter)
session.mount("https://", adapter)

捕获 Timeout 异常时别忽略 ConnectionError

requests.exceptions.Timeout 是 requests.exceptions.RequestException 的子类，但它和 ConnectionError（比如 DNS 失败、拒绝连接）经常一起出现，而很多人只写 except Timeout，结果连接失败直接抛出未捕获异常，程序中断。

真正健壮的写法是统一捕获基类，再按需分支处理：

捕获 requests.exceptions.RequestException 覆盖所有网络层问题
用 isinstance(e, requests.exceptions.Timeout) 区分超时和其他错误，方便打不同日志或走不同降级逻辑
注意：requests.exceptions.ConnectionError 不等于 ConnectionRefusedError，前者是 requests 封装后的异常，后者是底层 socket 错误，不要混用

try:
    resp = session.get(url, timeout=(3, 7))
    resp.raise_for_status()
except requests.exceptions.Timeout as e:
    logger.warning(f"Timeout for {url}: {e}")
except requests.exceptions.RequestException as e:
    logger.error(f"Request failed for {url}: {e}")

重试 + timeout 组合下容易漏掉的两个细节

很多代码看着有重试、有超时，但跑一阵就发现请求越来越少，或者某次超时后后续全部失败——问题往往出在 session 复用和异常传播上。

每次重试都会复用同一个 session，但如果某次请求因超时中断了底层 socket 连接，后续请求可能继承这个半开连接，导致诡异的阻塞或 ProtocolError；解决方法是在重试前调用 session.close() 并新建 session，或确保 adapter 设置了 pool_connections 和 pool_maxsize
raise_for_status() 抛出的 HTTPError 不会被 Retry 捕获（默认只重试连接/超时类错误），所以 4xx/5xx 响应不会自动重试，除非你显式加入 status_forcelist
如果用了代理，超时和重试行为受代理稳定性影响极大，建议对 proxy 连接也单独设更短的连接超时（如 timeout=(2, 5)）

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！