应使用 concurrent.futures.ThreadPoolExecutor 而非手动 threading：它自动管理线程生命周期、异常捕获与结果收集，避免启停遗漏、限流缺失、异常静默、数据竞争等问题。
直接说结论：用 threading 手动管理线程爬虫既难控又容易出错，真正该用的是 concurrent.futures.ThreadPoolExecutor ——它封装了线程创建、复用、异常捕获和结果收集，而你只需要写好单个请求逻辑。
为什么别手写 threading.Thread 跑爬虫
手动启停线程看似灵活，实际踩坑极多：
- 忘记调用
thread.start()或漏掉thread.join()，主程序提前退出，请求全丢 - 没有限流机制，瞬间发起几十个请求，被目标站封 IP 或触发 429
- 异常在线程内抛出但没捕获，主线程完全感知不到（比如
requests.exceptions.ConnectionError静默吞掉） - 共享变量（如全局 list）没加锁，数据错乱或丢失（典型现象：爬 100 条只存了 87 条）
用 ThreadPoolExecutor 的标准写法
核心是把「发一次请求 + 解析」封装成一个函数，交给线程池调度：
from concurrent.futures import ThreadPoolExecutor, as_completed
import requests
<p>def fetch_url(url):
try:
resp = requests.get(url, timeout=5)
resp.raise_for_status()
return {"url": url, "status": resp.status_code, "len": len(resp.text)}
except Exception as e:
return {"url": url, "error": str(e)}</p><p>urls = ["<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>", "<a href="https://www.php.cn/link/ef246753a70fce661e16668898810624">https://www.php.cn/link/ef246753a70fce661e16668898810624</a>"] * 5</p><h1>控制并发数：max_workers=3 比盲目设 10 更稳</h1><p>with ThreadPoolExecutor(max_workers=3) as executor:</p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="overflowclass">macOS UI 自动化技能包 —— 用 Python 控制你的 Mac</a>
<p class="overflowclass">让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript
系统要求
macOS 14+ (Sonoma)
Python 3.9+
需要开启：辅助功能 + 屏幕录制权限</p>
</div>
<a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div><h1>提交所有任务，返回 Future 对象列表</h1><pre class="brush:php;toolbar:false;">futures = [executor.submit(fetch_url, u) for u in urls]
# 按完成顺序取结果（不是提交顺序）
for future in as_completed(futures):
result = future.result() # 这里才真正抛异常
if "error" in result:
print(f"失败: {result['url']} → {result['error']}")
else:
print(f"成功: {result['url']} → {result['len']} 字符")
关键点：
-
max_workers建议设为 CPU 核心数 × 2 到 5 之间（I/O 密集型任务），不是越大越好 - 必须在
future.result()中取值，否则异常不会冒泡到主线程 - 不要在
fetch_url里直接 print 或写文件 —— 线程不安全，改用返回值 + 主线程统一处理
绕不开的反爬与线程安全细节
真实爬虫要加 headers、随机 delay、会话复用，这些都得在线程函数里做：
- 每个线程应有自己的
requests.Session()实例（复用连接），但不能全局共用一个 Session —— 它不是线程安全的 - 避免用
time.sleep()在线程里硬等，改用random.uniform(1, 3)加点抖动，降低被识别风险 - 如果解析 HTML，
lxml和BeautifulSoup是线程安全的；但re.compile()编译后的正则对象可全局复用 - 写入文件或数据库时，务必用主线程汇总后批量操作，或加
threading.Lock()（仅当必须实时写）
最常被忽略的一点：线程池本身不处理 DNS 缓存、TCP 连接池上限、SSL 上下文复用 —— 这些得靠 requests.adapters.HTTPAdapter 配置，否则并发高了反而更慢甚至报 ConnectionResetError。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
