Python如何并发执行多个耗时任务_asyncio.gather与任务调度详解-Python教程-PHP中文网

asyncio.gather适合多个独立、无依赖、可并行发起的协程任务，如并发HTTP请求；需传入已调用的协程对象，避免同步阻塞，推荐加return_exceptions=True捕获异常，并用Semaphore控制并发量。

python如何并发执行多个耗时任务_asyncio.gather与任务调度详解

asyncio.gather 适合什么场景

它适合「多个独立、无依赖、可并行发起」的协程任务，比如同时发 5 个 HTTP 请求、读取 3 个文件、调用多个微服务接口。asyncio.gather 会并发启动所有任务，并等待全部完成，返回结果列表（顺序与传入一致）。它不是调度器，不控制执行时机或优先级，也不重试、不超时——这些得自己加。

常见错误现象：RuntimeWarning: coroutine 'fetch_data' was never awaited，本质是把协程对象直接传进 gather 而没调用；或者误以为 gather 能自动处理同步阻塞函数（比如 time.sleep），结果整个事件循环被卡住。

必须传入已调用的协程对象（即 fetch(url)，不是 fetch）
不能混入同步阻塞操作；要用 asyncio.to_thread 或 loop.run_in_executor 包装
若某任务抛异常，默认全盘失败；加 return_exceptions=True 可让异常作为结果项返回

asyncio.create_task 和 asyncio.ensure_future 的区别

asyncio.create_task 是推荐方式，明确表示“现在就调度这个协程”，返回 Task 对象，可随时 cancel() 或检查状态；asyncio.ensure_future 更底层，能接受协程、Future、甚至 Task，但语义模糊，容易误用（比如传入普通函数不报错但无效）。

使用场景：需要提前启动任务、做条件取消、或在循环中动态增减任务时，用 create_task；仅在兼容旧代码或封装通用工具函数时才考虑 ensure_future。

create_task 必须在事件循环运行中调用，否则报 RuntimeError: no running event loop
ensure_future 对非协程输入（如 None）可能静默失败，调试困难
两者都不等同于 await；任务创建后仍需 await 才能获取结果

如何避免 asyncio.gather 吃掉关键异常

asyncio.gather 默认“一炸全崩”：只要一个协程 raise 异常，整个 gather 就中断，其余任务被取消。这在调试时极难定位哪一环出问题，尤其当任务数多、日志少时。

Python Dependency Candidate Fetcher 2

根据包的能力以及 Jupyter 环境中的导入语句，从候选列表中挑选最适合用户表格工作流的 Python 包。

下载

正确做法是始终加 return_exceptions=True，让异常也作为结果项返回，再逐个检查：

results = await asyncio.gather(
    fetch("https://a.com"), 
    fetch("https://b.com"), 
    return_exceptions=True
)
for i, r in enumerate(results):
    if isinstance(r, Exception):
        print(f"Task {i} failed: {r}")
    else:
        print(f"Task {i} succeeded: {len(r)} bytes")