asyncio适合I/O密集型任务,CPU密集型需用to_thread或multiprocessing;ThreadPoolExecutor适合轻量I/O,ProcessPoolExecutor适合独立CPU计算;celery解决分布式可靠性问题,非简单多进程替代。

asyncio 适合 I/O 密集型,但别在 CPU 密集任务里硬上
asyncio 不是万能并发解药,它靠事件循环和协程切换实现“单线程高并发”,前提是任务大部分时间在等网络、磁盘或数据库响应。一旦你塞进去一个 time.sleep(10) 或者跑 np.linalg.svd() 这类纯计算,整个事件循环就卡住,其他协程全得干等。
实操建议:
- 用
asyncio.to_thread()(Python 3.9+)把 CPU 密集操作丢进线程池,避免阻塞事件循环 - 真要大量计算,优先考虑
multiprocessing,而不是给 asyncio 套壳 - 检查第三方库是否真正支持 async——比如
aiohttp是异步的,但requests不是,混用会直接退化成同步
concurrent.futures.ThreadPoolExecutor 和 ProcessPoolExecutor 的边界在哪
这两个类看着像“多线程/多进程快捷入口”,但选错就白忙活。根本区别不在“线程 vs 进程”,而在“任务类型”和“数据共享成本”。
常见错误现象:ProcessPoolExecutor 启动慢、内存暴涨,或者传入不可序列化的对象(比如带 lambda 或闭包的函数),直接报 PicklingError。
实操建议:
- I/O 密集 + 轻量级任务(如发 HTTP 请求、读小文件)→
ThreadPoolExecutor,开销小、启动快 - CPU 密集 + 独立计算(如图像处理、数值模拟)→
ProcessPoolExecutor,但函数必须定义在模块顶层,参数必须可 pickle - 别在
ProcessPoolExecutor里传大数组——默认用 pickle 序列化,比共享内存还慢;改用multiprocessing.shared_memory(Python 3.8+)或numpy.memmap
celery 不是“更高级的 multiprocessing”,它解决的是分布式与可靠性问题
很多人把 celery 当作“加强版多进程”,结果本地跑着好好的,一上生产就卡在 broker 连接、task 丢失、结果取不到。celery 的核心价值不是并发本身,而是:任务持久化、失败重试、跨机器分发、状态追踪。
使用场景明确:需要定时调度(beat)、任务可能运行数分钟以上、失败后必须重试、或者 worker 分布在不同服务器上。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限
实操建议:
- 开发阶段别用 Redis 当 broker —— 它不保证消息不丢;至少换成
redis://...?socket_keepalive=True,或直接上 RabbitMQ -
@app.task(bind=True)才能访问self.retry()和self.request,没 bind 就只能抛异常重试,没法控制延迟和次数 - 返回值别传大对象;celery 默认用 pickle 序列化 result,超限会静默失败;设
result_serializer='json'更安全,但得自己确保返回值是基本类型
poetry + task runner(如 doit / invoke)不是多任务框架,但常被误当起点
很多项目一上来就配 pyproject.toml 里的 [tool.poetry.scripts] 或写一堆 invoke 任务,以为这就是“多任务管理”。其实这只是命令编排,没有并发控制、依赖调度、资源隔离这些关键能力。
容易踩的坑:并行执行多个 poetry run pytest,结果测试数据库被多个进程同时清空;或者 invoke build && invoke deploy 写成 shell 脚本,却没加锁,CI 上两个 pipeline 同时 deploy 同一环境。
实操建议:
- 纯本地自动化 → 用
doit,它有显式依赖声明(file_dep、task_dep)和并发控制(-n 4) - 需要和 Python 代码深度集成(比如动态生成 task)→ 直接用
asyncio.gather()或concurrent.futures,别绕一圈封装成 CLI - 如果只是想“一键跑测试+打包+推送镜像”,老老实实用 Makefile,清晰、无依赖、CI 兼容性最好
真正难的从来不是选哪个框架,而是判断任务有没有状态、要不要恢复、是否允许部分失败、以及谁来负责清理临时文件或释放连接。这些细节不会出现在 benchmark 图表里,但上线第一天就会跳出来。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










