TaskGroup是管理异步爬虫最稳妥方式，因其自动取消其余任务、避免僵尸协程和资源泄漏；而gather在某任务异常时仍让其余任务运行，易致超时、重复请求或IP被封。
Python 3.12 的 asyncio.TaskGroup 是管理异步爬虫任务最稳妥的方式——它能自动等待所有子任务完成，并在任一任务异常时取消其余任务，避免僵尸协程和资源泄漏。
为什么不用 asyncio.gather() 而选 TaskGroup
gather() 在某个协程抛出未处理异常时，会等待所有任务结束才把异常聚合抛出，期间其他爬虫仍在运行，可能造成超时、重复请求或 IP 被封；TaskGroup 则是“一崩全停”，更符合爬虫场景的容错预期。
- 使用
gather()：一个目标网站返回 503，其余 19 个请求照常发，浪费带宽且难定位失败源头 - 使用
TaskGroup：503 一抛，其余 19 个正在连接或等待响应的任务立即被取消，日志清晰标记“因HTTPStatus.SERVICE_UNAVAILABLE中断” -
TaskGroup支持在with块内动态添加任务（比如解析页面后发现新链接再爬），gather()必须提前构造好全部协程对象
TaskGroup 启动爬虫任务的最小可行写法
核心是把每个请求封装成独立协程，并在 TaskGroup 上调用 create_task()。注意不能直接 await 协程对象，否则就变成串行了。
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
import asyncio import aiohttp <p>async def fetch(session, url): async with session.get(url, timeout=10) as resp: return await resp.text()</p><p>async def main(): urls = ["<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>", "<a href="https://www.php.cn/link/ef246753a70fce661e16668898810624">https://www.php.cn/link/ef246753a70fce661e16668898810624</a>"] async with aiohttp.ClientSession() as session: async with asyncio.TaskGroup() as tg: tasks = [tg.create_task(fetch(session, url)) for url in urls]</p><h1>此处所有任务已结束或被取消，tasks 仍持有 Task 对象，可取 result()</h1><pre class="brush:php;toolbar:false;"> results = [t.result() for t in tasks if not t.cancelled()]
asyncio.run(main())
- 必须用
async with asyncio.TaskGroup()，不能只写asyncio.TaskGroup()—— 否则上下文管理器不生效，取消逻辑失效 -
aiohttp.ClientSession必须在TaskGroup外创建并复用，否则每个任务新建 session 会耗尽文件描述符 - 不要在
TaskGroup块内对Task对象调用result()，此时可能还未完成；应在with块结束后统一处理
捕获单个请求异常而不中断整个组
如果某几个 URL 失败是可预期的（如 404 页面），又不想让整个爬取流程终止，就得在协程内部吞掉异常，或用 return None / 特殊标记值代替抛出。
- 错误做法：
try/except包裹tg.create_task()—— 这只能捕获创建过程的错误，不是请求本身的异常 - 正确做法：在
fetch()协程里处理 HTTP 错误，例如if resp.status == 404: return {"url": url, "error": "not_found"} - 若需区分“任务被取消”和“主动失败”，检查
t.cancelled()和t.exception()：前者说明是组级中断所致，后者才是协程自己抛的异常
真正容易被忽略的是连接池与 DNS 缓存——TaskGroup 管理的是任务生命周期，但底层 TCP 连接复用、DNS TTL、SSL 会话缓存这些，全依赖 aiohttp 或 httpx 的配置。没调好 connector 参数的话，即便用了 TaskGroup，照样会遇到 OSError: [Errno 24] Too many open files。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
