如何在Python中使用Gevent实现高性能的并发请求?

千晨小哥_8328

千晨小哥_8328

2026-06-15

493人浏览

原创

必须在程序开头执行gevent.monkey.patch_all()或至少patch_socket/ssl,否则requests等阻塞调用无法让出控制权;推荐gevent.pool.pool配合urllib3.poolmanager,显式设置超时、连接池大小,并异步化dns解析。

如何在python中使用gevent实现高性能的并发请求?

直接用 gevent 发 HTTP 请求,不加改造大概率会卡死或超时——因为默认没打补丁,requests 这类阻塞调用根本不会让出控制权。

必须在程序开头打 monkey patch

这是最常被跳过的一步。不打补丁,gevent 就看不到 socket、ssl、threading 等底层调用,所有请求仍按同步方式执行。

实操建议:

  • 在 import 任何可能触发网络/IO 的模块(如 requests、urllib)之前,立即执行 gevent.monkey.patch_all()
  • 若只用 HTTP,可缩小范围: gevent.monkey.patch_socket() + gevent.monkey.patch_ssl(),更安全
  • 避免在子模块里打补丁,必须在主入口文件最顶部完成

别直接用 requests —— 改用 gevent.pool + urllib3 或 grequests

requests 底层依赖 urllib3,而它默认用标准 socket;即使打了补丁,某些连接池行为仍可能引发竞争或泄漏。

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载

实操建议:

  • 推荐组合:gevent.pool.Pool + 原生 urllib3.PoolManager(已兼容 greenlet)
  • 或使用轻量封装 grequests(注意它已多年未维护,仅适合简单 GET)
  • 避免在 Pool.spawn() 里反复创建 Session,应复用 PoolManager 实例
  • 示例关键行:pool = gevent.pool.Pool(20); pool.spawn(manager.request, 'GET', url)

超时、重试和连接池参数必须显式设

greenlet 不共享主线程的 timeout 机制,不设超时,一个慢请求会拖垮整个协程池;连接池若不限制大小,容易耗尽文件描述符。

实操建议:

  • 给 urllib3.PoolManager 设 maxsize=10 和 num_pools=5,防止连接爆炸
  • 每个请求必须带 timeout=gevent.Timeout(5),并在 spawn 外层用 try/except gevent.Timeout 捕获
  • 重试逻辑不要依赖 requests.adapters.Retry,它在 greenlet 下行为不可靠;改用手动循环 + gevent.sleep()
  • 错误现象举例:OSError: [Errno 24] Too many open files 就是连接池失控的典型信号

真正难调的不是并发数,而是连接复用率和 DNS 解析——gevent 默认用系统 getaddrinfo,它是阻塞的。需要额外配 dnspython + gevent.resolver_thread 才能彻底异步化,这点绝大多数人会忽略。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

python 并发请求

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1691

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4304

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25057

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3067

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3087

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2383

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程