Python爬虫怎么提高抓取稳定性_利用retrying库实现失败自动重试

秋雪君_3502

秋雪君_3502

2026-05-08

432人浏览

原创

requests重试未生效主因是@retry未作用于抛异常的函数,须显式raise异常、避免吞异常、设合理重试策略并校验响应内容。

python爬虫怎么提高抓取稳定性_利用retrying库实现失败自动重试

requests请求失败后重试没生效?检查retrying的装饰器用法

retrying库本身不直接拦截requests异常,必须确保@retry装饰器作用在真正抛出异常的函数上,而不是只包了一层没做错误处理的封装。常见错误是把requests.get()写在函数内部但没加raise,导致retry机制根本收不到异常信号。

实操建议:

  • 被装饰的函数必须显式抛出异常(如raise requests.RequestException),不能只返回None或空响应
  • 避免在装饰函数里用try...except吞掉异常,否则retry无法感知失败
  • 若用session.get(),记得传入timeout参数,否则网络卡住时会无限等待,retry也救不了

重试次数和间隔怎么设才合理?别盲目堆高max_attempt_number

默认max_attempt_number=5对多数HTTP错误够用,但盲目调高反而可能加重目标服务器压力,甚至触发风控。关键是区分错误类型:连接超时、DNS失败值得重试;404、403、429这类状态码重试无意义,应提前拦截。

实操建议:

  • 用retry_on_exception参数指定只重试requests.exceptions.ConnectionError和Timeout,跳过HTTPError
  • 配合wait_exponential_multiplier(单位毫秒)实现指数退避,比如从100ms开始,每次×2,避免瞬间重连洪峰
  • 加上stop_max_delay=10000限制总重试耗时,防止单个请求卡死整个爬虫流程

retrying和requests.adapters.Retry冲突吗?优先用哪个?

两者不冲突,但功能重叠。requests内置的Retry更轻量、原生支持重定向和状态码控制;retrying更灵活,能套在任意函数上。实际项目中建议优先用requests.adapters.Retry配HTTPAdapter,它对连接池、SSL握手等底层失败更敏感。

361SCAN security check your skill python scripts
361SCAN security check your skill python scripts

扫描并分析已安装技能,用于查看指定技能目录的名称、描述和详情,或列出所有已安装的技能。

下载

实操建议:

  • 初始化session时挂载带重试策略的adapter:session.mount('https://', HTTPAdapter(max_retries=Retry(...)))
  • retrying留给业务逻辑层使用,比如解析JSON失败、字段缺失时重取整页,而非网络层问题
  • 不要同时对同一请求既用Retry又套@retry,容易造成重复重试、时间叠加失控

重试成功了但数据还是错的?检查response内容有效性再交出结果

retrying只管“请求发出去且没报异常”,不管返回的HTML是不是403页面、JSON是不是空对象、状态码是不是200但body含"error":true。很多稳定性问题其实出在“假成功”上。

实操建议:

  • 在重试函数末尾加校验逻辑,比如if response.status_code != 200: raise ValueError(f"HTTP {response.status_code}")
  • 对关键字段做存在性断言:if not response.json().get('data'): 就raise
  • 用stop_max_attempt_number配合自定义retry_on_result回调,让retrying也能基于返回值判断是否继续

重试不是万能胶水,真正的稳定性来自分层防御:网络层用adapter重试,业务层用retrying兜底,每层都带精准的失败识别和退出条件。漏掉任何一层,都可能让重试变成无效循环。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1771

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4624

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1749

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

27297

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3287

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3307

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1203

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2563

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习