如何在Python中使用gevent协程池提升旧版爬虫项目的并发性能？-Python教程-PHP中文网

直接用gevent.pool.pool会卡死或不生效，因requests等库默认同步阻塞，gevent无法拦截其系统调用；必须在所有import（尤其requests）前执行gevent.monkey.patch_all()，否则协程不切换、请求仍串行等待。

如何在python中使用gevent协程池提升旧版爬虫项目的并发性能？

为什么直接用 `gevent.pool.Pool` 会卡死或不生效？

旧爬虫项目通常基于 requests 或 urllib，而这些库默认是同步阻塞的——gevent 无法自动拦截它们的系统调用。如果你只是把原有循环改成 pool.spawn()，请求仍会串行等待 DNS 解析、TCP 握手、TLS 握手、响应读取，协程根本不会切换。

必须先打补丁，且顺序不能错：

gevent.monkey.patch_all() 必须在所有其他 import（尤其是 requests）之前执行
若用了 urllib3 1.26+，需额外加 patch_socket=True, patch_ssl=True 参数，否则 HTTPS 请求仍阻塞
如果项目里提前 import 了 threading 或 socket，补丁可能失效，得检查 import 链

如何安全替换原有 for 循环为 `gevent.pool.Pool`？

不要直接把整个爬虫函数丢进 spawn()，尤其当它内部含状态（如共享 session、计数器、文件句柄）时——协程间共享对象不是线程安全的，更不是协程安全的。

推荐做法是：每个任务函数保持无状态、输入输出明确，共享资源通过参数传入或由池外管理：

用 requests.Session() 实例要每个协程独享，或改用 geventhttpclient 这类原生协程客户端
避免在任务中修改全局 list/dict；需要收集结果时，统一用 pool.imap() + list() 拉取返回值
设置合理 size：通常 20–100，远高于线程池（因协程开销极小），但受 DNS、远端限流、本地 fd 数限制

示例片段：

from gevent import monkey; monkey.patch_all()
import gevent
from gevent.pool import Pool
import requests
<p>def fetch_url(url):</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill8910" title="361SCAN security check your skill python scripts"><img
														src="https://img.php.cn/upload/skill/000/000/081/179231049778675.jpg" alt="361SCAN security check your skill python scripts" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill8910" title="361SCAN security check your skill python scripts" class="overflowclass">361SCAN security check your skill python scripts</a>
													<p class="overflowclass">扫描并分析已安装技能，用于查看指定技能目录的名称、描述和详情，或列出所有已安装的技能。</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill8910" title="361SCAN security check your skill python scripts" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div><h1>每次都新建 session，或从池外传入已 patch 的 session</h1><pre class="brush:python;toolbar:false;">return requests.get(url, timeout=10).status_code

pool = Pool(50) urls = ['https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c'] * 100 results = list(pool.imap(fetch_url, urls)) # 自动并发、保序

遇到 `BlockingIOError: [Errno 11] Resource temporarily unavailable` 怎么办？

这是典型的系统级资源耗尽信号，不是代码逻辑错。常见原因有：

Linux 默认单进程最多打开 1024 个文件描述符（fd），而每个 HTTP 连接至少占 1 个 socket fd；50 协程 × 多个连接 ≈ 快速触顶
gevent 的 DNS 解析默认用同步 getaddrinfo，高并发下会堆积并触发阻塞报错
目标站点主动限流（如返回 429），但你的代码没处理，重试风暴加剧连接堆积

解决方式：

启动前调用 resource.setrlimit(resource.RLIMIT_NOFILE, (65536, 65536))（需 root 权限或 ulimit 配置）
用 gevent.resolver_thread.Resolver 替换默认 resolver，或直接设环境变量 GEVENT_RESOLVER=thread
给 requests.get() 加 timeout=(3, 7)，并捕获 requests.exceptions.Timeout 和 ConnectionError

要不要把 `requests` 换成 `geventhttpclient`？

要看你的旧项目复杂度。如果只做简单 GET、无 cookie 管理、无重定向跟随、无复杂 header 构造，geventhttpclient 能省掉 monkey patch 的不确定性，性能也略高。但它不兼容 requests 接口，比如没有 .json() 方法，错误类型不同，重试逻辑要重写。

更现实的选择是保留 requests，但严格控制使用方式：