Python爬虫如何批量处理网页爬取任务_使用队列管理Python爬虫任务-Python教程-PHP中文网

直接用for循环并发爬取易崩，因缺乏任务隔离与流量节制，易触发限流、ip封禁、dns耗尽或连接池打满，且单个失败会中断全部任务；队列实现可控流水线，支持暂停、重试与监控。

python爬虫如何批量处理网页爬取任务_使用队列管理python爬虫任务

为什么直接用 for 循环并发爬取容易崩

因为没做任务隔离和流量节制，requests.get() 一拥而上会触发目标站限流、IP 封禁，或本地 DNS 耗尽、连接池打满。更麻烦的是，某个 URL 失败（比如 404 或超时）会中断整个循环，后续任务全卡住。

用队列不是为了“高大上”，是让爬取变成可暂停、可重试、可监控的流水线。

queue.Queue 适合单进程多线程场景，线程安全，但不跨进程
需要分布式或多机协同？换 redis 或 RabbitMQ 做消息中间件，Python 用 redis-py 或 pika 接入
别把所有 URL 一次性 put() 进去——内存扛不住；边生成边塞，配合 task_done() 控制节奏

用 threading + queue 实现可控并发爬虫

核心是让工作线程从队列取任务、执行、标记完成，主线程只管投喂和等待。不需要第三方库，标准库够用。

import queue
import threading
import requests
from urllib.parse import urljoin
<p>def fetch_page(q: queue.Queue, results: list):
while True:
try:
url = q.get(timeout=1)
if url is None:  # 结束信号
break
resp = requests.get(url, timeout=5)
results.append((url, resp.status_code, len(resp.content)))
except Exception as e:
results.append((url, "ERROR", str(e)))
finally:
q.task_done()</p><h1>启动 3 个线程</h1><p>q = queue.Queue()
results = []
for _ in range(3):
t = threading.Thread(target=fetch_page, args=(q, results))
t.daemon = True
t.start()</p><h1>投放任务</h1><p>urls = ["<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>", "<a href="https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f">https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f</a>"]
for url in urls:
q.put(url)</p><p>q.join()  # 等所有任务完成</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill6591" title="Li Python Sec Check"><img
														src="https://img.php.cn/upload/skill/000/000/081/179102166033725.jpg" alt="Li Python Sec Check" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill6591" title="Li Python Sec Check" class="overflowclass">Li Python Sec Check</a>
													<p class="overflowclass">Python 安全规范检查工具：基于 CloudBase 规范、腾讯安全指南，LLM 智能分析（默认禁用，优先本地执行）</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill6591" title="Li Python Sec Check" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div>

注意：q.join() 不等于“所有线程退出”，它只等 task_done() 被调用次数等于 put() 次数。漏调或多调都会死锁。

如何避免重复抓取和无限重试

队列本身不记录历史，得自己加一层去重和状态管理。简单方案：用 set 记已抓 URL，失败任务写进新队列重试，但要限制重试次数。

URL 去重必须标准化：去掉 fragment、统一 scheme 和 trailing slash，推荐用 urllib.parse.urldefrag() 和 urljoin()
重试不要用 time.sleep() 原地等——会卡死线程；改用带 delay 的新任务重新 put() 到队列，比如 (url, retry_count + 1)
超时、5xx、连接异常才重试；404、403 直接丢弃，重试也没用

生产环境必须加的三个控制点

本地跑通不等于能上线。真实场景下，DNS 解析慢、SSL 握手失败、反爬 header 缺失，都会让队列堆积甚至假死。

给 requests.Session() 配 mount("https://", HTTPAdapter(max_retries=2))，比裸 get() 更稳
每线程配独立 session，别共用——Session 不是线程安全的
加信号量（threading.Semaphore）控并发数，比单纯开 N 个线程更精细：比如同一域名最多 2 个请求在飞

最易被忽略的是日志粒度：不要只记“成功/失败”，要记耗时、响应头里的 X-RateLimit-Remaining、重定向链路。这些才是调优依据。