怎样在Python中利用Threading模块实现多任务并行下载图片-Python教程-PHP中文网

直接用threading.Thread下载常卡住或失败，因未控并发数、未捕获异常、未等待线程结束；应改用ThreadPoolExecutor限流（如max_workers=3），每线程内建Session并try/except，安全处理文件名与路径。

怎样在python中利用threading模块实现多任务并行下载图片

为什么直接用 `threading.Thread` 启动多个下载线程常卡住或失败

常见现象是：程序看似运行了，但图片没下完、线程提前退出、甚至报 ConnectionResetError 或 Max retries exceeded。根本原因不是线程写错了，而是没控制并发数 + 没处理请求异常 + 没等待线程结束。

Python 的 threading 模块本身不管理任务队列或限流，全靠手动协调。盲目起 50 个 Thread 对多数网站等于主动触发反爬或服务端拒绝连接。

必须用 threading.Semaphore 或 concurrent.futures.ThreadPoolExecutor 控制最大并发数（通常 5–10 较安全）
每个线程内必须包住 try/except，捕获 requests.exceptions.RequestException 等网络异常
主线程必须调用 thread.join() 或用 executor.shutdown(wait=True)，否则可能进程退出时线程被强制终止

用 `ThreadPoolExecutor` 下载图片最简可靠写法

比起裸写 Thread，concurrent.futures.ThreadPoolExecutor 自动管理线程生命周期、异常传播和结果收集，出错时不会静默吞掉异常。

以下是一个能直接跑通的最小可行示例（需先 pip install requests）：

import requests
from concurrent.futures import ThreadPoolExecutor, as_completed
import os
<p>def download_image(url, filename):
try:
resp = requests.get(url, timeout=10)
resp.raise_for_status()
with open(filename, "wb") as f:
f.write(resp.content)
return f"✅ {filename}"
except Exception as e:
return f"❌ {filename}: {e}"</p><p>urls = [
"<a href="https://www.php.cn/link/4e20035d57fb4532e8659968a1b73541">https://www.php.cn/link/4e20035d57fb4532e8659968a1b73541</a>",
"<a href="https://www.php.cn/link/9bb798005b85d8c73ac4c821a729c33e">https://www.php.cn/link/9bb798005b85d8c73ac4c821a729c33e</a>",
]</p><p>with ThreadPoolExecutor(max_workers=3) as executor:</p><h1>提交所有任务</h1><pre class="brush:php;toolbar:false;">futures = [executor.submit(download_image, url, f"img_{i}.jpg") for i, url in enumerate(urls)]

# 按完成顺序获取结果
for future in as_completed(futures):
    print(future.result())

注意：max_workers=3 是关键——它限制同时最多 3 个 HTTP 请求发出，避免压垮本地 socket 或远端服务。

`requests.Session` 复用能明显提升多图下载速度

每次新建 requests.get() 都会重建 TCP 连接，而图片下载通常是大量小请求。复用 Session 可启用 HTTP 连接池，实测提速 2–5 倍（尤其同域名多图）。

python学习

Python 编程学习助手 skill，面向零基础用户。当用户表达以下意图时触发： - 学习 Python 基础概念（变量、数据类型、循环、函数、类等） - 请求 Python 练习题或测验 - 请求审查或调试 Python 代码 - 请求 Python 项目实战指导（爬虫、数据分析、Web 开发等入门项目） - 泛化表述如"教我 Python""我想学编程""Python 怎么写""帮我学 Python" 此 skill

下载

但要注意：Session 不是线程安全的，不能在多个线程间共享同一个实例。正确做法是每个线程自己创建一个，或用线程局部存储：

简单场景：在 download_image 函数内部新建 Session（开销可接受）
高频场景：用 threading.local() 绑定每个线程专属的 Session，避免重复创建

示例（线程局部 Session）：

import threading
<p>thread_local = threading.local()</p><p>def get_session():
if not hasattr(thread_local, "session"):
thread_local.session = requests.Session()
return thread_local.session</p><p>def download_image(url, filename):
session = get_session()
try:
resp = session.get(url, timeout=10)
resp.raise_for_status()
with open(filename, "wb") as f:
f.write(resp.content)
return f"✅ {filename}"
except Exception as e:
return f"❌ {filename}: {e}"
</p>