如何在Python中通过asyncio.as_completed实现流式处理结果?

千婷酱_2631

千婷酱_2631

2026-07-16

233人浏览

原创

asyncio.as_completed返回异步迭代器,每次产出已完成的task对象而非结果本身,需显式await或调用result()获取值;常见错误是误用async for或未await导致卡在task状态。

如何在python中通过asyncio.as_completed实现流式处理结果?

asyncio.as_completed 返回的是什么?

它返回一个异步迭代器,每次 await 都产出一个已完成的 asyncio.Task 对象(不是结果本身),你需要调用 task.result() 才能拿到实际返回值。很多人误以为直接 await 就得到结果,导致 TypeError: object is not async 或卡在 as_completed 上不动。

常见错误写法:

async for result in asyncio.as_completed(tasks):  # ❌ 错!as_completed 不支持 async for
  • 正确方式是用 asyncio.create_task() 包装任务后,再传给 asyncio.as_completed()
  • 必须配合 for await + asyncio.wait() 或更常见的:用普通 for 循环 + await task(注意不是 await as_completed)
  • 实际流式处理时,推荐用 for task in asyncio.as_completed(tasks) + await task —— 这里 task 是协程对象,可直接 await

如何真正“流式”获取最先完成的结果?

关键不是“谁先启动”,而是“谁先返回”。asyncio.as_completed() 的价值在于不等全部结束,只要任一任务完成就立刻处理,适合 IO 差异大的场景(比如混合了本地计算、HTTP 请求、数据库查询)。

  • 所有任务必须已调度(即已用 asyncio.create_task() 或 asyncio.ensure_future() 启动)
  • 不能把协程对象(如 fetch_url(url))直接塞进列表,否则会报 TypeError: an integer is required (got type coroutine)
  • 示例中常见漏掉 await:错写成 tasks.append(fetch_url(url)),应为 tasks.append(asyncio.create_task(fetch_url(url)))

典型用法:

python-script-generator
python-script-generator

快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构,支持CLI、API、爬虫、Bot、Django等多种项目类型,包含完整的项目结构、配置文件、依赖管理、测试、README和文档。

下载
tasks = [asyncio.create_task(fetch_url(u)) for u in urls]<br>for coro in asyncio.as_completed(tasks):<br>    result = await coro  # ✅ 此处 await 的是已完成的协程<br>    print("Got:", result)

as_completed 和 gather 的性能差异在哪?

asyncio.gather() 是“全等式”:所有任务都跑完才统一返回结果列表;as_completed() 是“抢答式”:谁快谁先交卷。这对响应敏感型服务很关键——比如并发查 10 个 API,其中 2 个超快、3 个超慢,你希望前 2 个结果一出来就推给前端,而不是卡住等最后 1 个。

  • gather 在失败时默认取消其余任务(除非设 return_exceptions=True),而 as_completed 不影响其他任务运行
  • as_completed 无法保证原始顺序,如果后续逻辑依赖索引位置,得自己存 url → task 映射关系
  • 内存占用略高:每个 Task 对象比裸协程多一层封装,但通常可忽略

遇到 TimeoutError 或 CancelledError 怎么办?

流式处理中最容易被忽略的是异常传播——as_completed 不过滤异常,一旦某个任务抛错,await task 就直接 raise,整个循环中断。这和预期的“跳过失败项继续收其他结果”不符。

  • 必须对每个 await task 做 try/except,捕获 asyncio.TimeoutError、CancelledError、Exception
  • 别用 return_exceptions=True(那是 gather 的参数,as_completed 没这个选项)
  • 如果想统一设置超时,应在单个任务内部用 asyncio.wait_for(coro, timeout),而不是给 as_completed 加 timeout

安全写法:

for task in asyncio.as_completed(tasks):<br>    try:<br>        result = await task<br>        process(result)<br>    except (asyncio.TimeoutError, CancelledError):<br>        continue  # 或记录日志<br>    except Exception as e:<br>        log_error(e)

任务启动时机、异常处理、结果顺序——这三个点不提前想清楚,as_completed 很容易变成“看似流式,实则阻塞或崩溃”的陷阱。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1671

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4144

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1669

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23937

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2927

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2967

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1143

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2303

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程