Python I/O 密集与 CPU 密集的区分

冷漠man

冷漠man

2026-01-18

778人浏览

原创

python中i/o密集型任务以等待外部资源为主、cpu利用率低,适合多线程或asyncio;cpu密集型任务持续占用cpu、利用率近100%,应选多进程或c扩展。

python i/o 密集与 cpu 密集的区分

Python 中 I/O 密集型和 CPU 密集型任务的核心区别在于:程序执行时的“等待”与“计算”占比不同。I/O 密集型任务大部分时间在等磁盘读写、网络响应或用户输入;CPU 密集型任务则持续占用 CPU 进行数学运算、数据处理或循环计算,几乎不等待外部资源。

I/O 密集型任务的典型特征

这类任务常因等待外部设备而空闲,CPU 利用率低(通常低于 30%),但整体耗时长。常见场景包括:

  • 读写文件(尤其是大文件逐块处理)
  • 发起 HTTP 请求并等待响应(如调用 API、爬网页)
  • 数据库查询(含连接、发送语句、接收结果)
  • 用户输入等待(input())、串口通信、socket 收发

它们适合用多线程(threading)或异步 I/O(asyncio)提升并发效率——因为 GIL 在 I/O 等待时会自动释放,线程可切换执行其他任务。

CPU 密集型任务的典型特征

这类任务持续压榨 CPU,几乎没有等待,CPU 利用率接近 100%,且单线程跑满一个核心。常见场景包括:

ApiPost接口调试与文档生成工具
ApiPost接口调试与文档生成工具

ApiPost是一个支持团队协作,支持模拟POST、GET、PUT等常见请求,并可直接生成文档的API调试、管理工具,ApiPost是后台接口开发者或前端、接口测试人员的工作必备工具。快速生成、一键导出API文档。感兴趣的朋友快来下载吧。软件说明ApiPost官方版是一款十分出色的接口调试与文档生成工具,ApiPost官方版界面美观大方,功能强劲实用,支持团队协作,支持模拟POST、GET、PUT等常见请求,是后台接口开发者或前端、接口测试人员的工作必备工具。软件特色更方便支持接口调试的同时快速生成、一键

下载
  • 大量数值计算(如矩阵乘法、科学计算、加密解密)
  • 遍历/排序超大数据集(纯内存操作,无磁盘或网络)
  • 图像处理(如 OpenCV 滤波、缩放)、视频帧编码
  • 递归求解(如深度搜索、斐波那契暴力实现)

它们不适合多线程(GIL 会限制并发),应优先使用多进程(multiprocessing)或借助 C 扩展(如 NumPy 底层已绕过 GIL)来真正并行。

如何快速判断你的代码属于哪一类?

不用猜,用工具看实际行为:

  • 运行时观察 top 或任务管理器:CPU 占用高 + 磁盘/网络活动低 → CPU 密集;CPU 占用低 + 频繁磁盘读写或网络收发 → I/O 密集
  • psutil 在代码中监控:psutil.cpu_percent()psutil.disk_io_counters() 对比变化趋势
  • 加日志:在关键 I/O 调用前后打时间戳,若大部分耗时落在 time.sleeprequests.getopen().read() 等调用里,就是 I/O 密集

选错并发模型的后果很直接

对 CPU 密集任务用多线程,性能可能不如单线程(线程切换开销白费);对 I/O 密集任务用多进程,反而浪费内存且启动慢。简单记:

  • I/O 密集 → 多线程 / asyncio
  • CPU 密集 → 多进程 / numba / Cython / Rust 扩展

真实项目往往混合两类操作,可拆分逻辑:用多进程处理计算块,再用线程或协程调度 I/O 部分。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python 大数据

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C++系统编程内存管理_C++系统编程怎么与Rust竞争内存安全
C++系统编程内存管理_C++系统编程怎么与Rust竞争内存安全

C++系统编程中的内存管理是指 对程序运行时内存的申请、使用和释放进行精细控制的机制,涵盖了栈、堆、静态区等不同区域,开发者需要通过new/delete、智能指针或内存池等方式管理动态内存,以避免内存泄漏、野指针等问题,确保程序高效稳定运行。它核心在于开发者对低层内存有完全控制权,带来灵活性,但也伴随高责任,是C++性能优化的关键。

2025.12.22

21

5

Rust异步编程与Tokio运行时实战
Rust异步编程与Tokio运行时实战

本专题聚焦 Rust 语言的异步编程模型,深入讲解 async/await 机制与 Tokio 运行时的核心原理。内容包括异步任务调度、Future 执行模型、并发安全、网络 IO 编程以及高并发场景下的性能优化。通过实战示例,帮助开发者使用 Rust 构建高性能、低延迟的后端服务与网络应用。

2026.02.11

51

16

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

2026.03.05

478

19

Rust 系统编程入门与实战
Rust 系统编程入门与实战

统讲解近年最受关注的系统级编程语言 Rust 的核心知识体系,涵盖 Rust 的安装与 Cargo 项目管理、变量绑定与不可变性设计哲学、所有权(Ownership)/ 借用(Borrowing)/ 生命周期(Lifetime)三大核心概念、结构体/枚举与模式匹配(match)、Trait 特征系统与泛型编程、错误处理(Result/Option)、智能指针(Box/Rc/Arc)、并发编程的无畏并发(Fearless Concurre

2026.05.29

270

21

Rust异步网络服务与Tokio Runtime深度实践
Rust异步网络服务与Tokio Runtime深度实践

本专题围绕 Rust 在高并发网络服务中的应用展开,系统讲解 Tokio 异步运行时、任务调度模型、Future 执行机制以及高性能网络编程方式。结合实际服务端案例,帮助开发者构建低延迟、高可靠的异步服务架构。

2026.06.29

111

13

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

2117

6

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

2025.12.24

618

20

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.21

129

30

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

2026.01.21

315

24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PyCharm官方快速入门指南
PyCharm官方快速入门指南

共0课时 | 0人学习

Python函数定义官方教程
Python函数定义官方教程

共0课时 | 0人学习

Python 3.14.6官方文档
Python 3.14.6官方文档

共0课时 | 0人学习