Python爬虫怎么实现多线程并发抓取_基于concurrent.futures优化速度-Python教程-PHP中文网

ThreadPoolExecutor 是 Python 多线程爬虫最稳易用方案：自动管理生命周期、异常传播和资源回收，支持 Future 统一超时重试与结果聚合，线程隔离 Session 避免状态污染，配合 tenacity 实现精准指数退避重试。

python爬虫怎么实现多线程并发抓取_基于concurrent.futures优化速度

用 concurrent.futures.ThreadPoolExecutor 实现多线程并发抓取，是 Python 中最稳、最容易上手的方案——它比裸写 threading 安全，比 aiohttp 兼容性更好，适合大多数中等规模爬取任务（比如 10–200 个 URL，需登录态或带 Cookie 的场景）。

为什么选 `ThreadPoolExecutor` 而不是手动 `threading`？

手动管理 threading.Thread + Queue 容易漏掉 task_done() 或忘记 join()，导致主线程提前退出或卡死；而 ThreadPoolExecutor 自动处理生命周期、异常传播和资源回收。更重要的是：executor.map() 和 executor.submit() 返回的是 Future 对象，可统一做超时、重试、结果聚合，不用自己加锁维护共享列表。

每个线程默认独占一个 requests.Session 实例（避免线程间 session 状态污染）
异常不会崩掉整个池子：单个请求失败，其他任务照常执行
返回结果顺序与输入一致（map 模式），省去手动对齐索引的麻烦

`max_workers` 设多少才不翻车？

这不是越大越好。线程数过多会引发 DNS 解析阻塞、端口耗尽、目标站限流，甚至触发反爬（比如连续 50 个请求在 1 秒内抵达）。经验法则是：

纯 HTTP 请求（无解析/计算）：设为 10–32，多数情况下 16 是安全起点
含 HTML 解析（如 BeautifulSoup）：降到 8–16，CPU 开销会上升
目标站明确限制频率（如 robots.txt 写着 Crawl-delay: 2）：直接按每秒 0.5 个请求反推，max_workers=2 起步，再加随机 sleep
本地网络带宽不足（比如跑在 10Mbps 家宽下）：超过 20 个并发可能让 DNS 查询排队，反而更慢

如何避免线程间状态干扰和资源冲突？

常见错误是把 Session、计数器、文件句柄这些全局对象直接扔进多线程里共用。正确做法是：

Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。

下载

每个线程内新建 requests.Session()，或用 threading.local() 绑定 session 实例
写文件别用 open(..., 'a') 多线程追加——改用 queue.Queue 缓存结果，最后单线程批量落盘
统计成功/失败数？别用全局 int 变量，改用 threading.Lock 包裹 += 操作，或直接靠 Future.result() 收集结构化结果
若需复用登录态（如带 Set-Cookie），必须确保 session 创建和请求都在同一线程内完成，不能跨线程传递 session 对象

配合 `tenacity` 做可靠重试，比手写 `try/except` 强在哪？

手写重试容易陷入无限循环（比如 404 永远不重试，503 却狂重试），也难控制退避策略。tenacity 提供声明式重试逻辑：

from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type

@retry(
    stop=stop_after_attempt(3),
    wait=wait_exponential(multiplier=1, min=1, max=10),
    retry=retry_if_exception_type((requests.exceptions.Timeout, requests.exceptions.ConnectionError))
)
def fetch_with_retry(url):
    return requests.get(url, timeout=5)

关键点：

只对特定异常重试（如超时、连接断开），跳过 4xx 错误（说明请求本身有问题）
wait_exponential 实现指数退避，避免雪崩式重试
装饰器可直接套在 fetch_url 上，ThreadPoolExecutor 调用时自动生效

真正容易被忽略的，是 DNS 缓存和 TCP 连接复用——默认 requests 每次都新建连接，高并发下握手开销巨大。务必在每个线程的 Session 里启用连接池：session = requests.Session(); adapter = requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=20)，否则线程数再多也白搭。