如何利用Python的memoryview在不拷贝数据的情况下处理大内存块?

云婷同学_9763

云婷同学_9763

2026-07-13

184人浏览

原创

memoryview能零拷贝操作但需严格满足条件:仅支持缓冲协议的对象(如bytearray、bytes、array.array、特定numpy.ndarray)可创建,str等不支持;切片越界静默返回空视图,须主动校验长度;仅socket.send、struct.unpack_from等明确支持缓冲协议的接口才真正零拷贝,hashlib.update等需转bytes触发拷贝;可写性取决于原对象(bytes只读,bytearray可写),且视图生命周期不得长于原对象。

如何利用python的memoryview在不拷贝数据的情况下处理大内存块?

memoryview 确实能帮你避免拷贝,但前提是用对对象、用对场景、用对接口——它不是“套上就快”,而是“用错就慢甚至出错”。

传什么对象才能创建有效的 memoryview

必须传支持缓冲协议(buffer protocol)的可变或不可变二进制对象,常见合法输入只有这几个:

  • bytearray(最推荐:可读可写,生命周期易控)
  • bytes(只读,适合解析阶段)
  • array.array('B') 或 array.array('I') 等字节级类型
  • numpy.ndarray(dtype 必须是字节兼容型,如 np.uint8)

传 str 会直接报 TypeError: memoryview: a bytes-like object is required, not 'str';传普通 list 或 dict 会报 TypeError: memoryview: does not have the buffer interface。别试图绕过类型检查——它拦住的是根本不可行的操作。

memoryview 切片为什么没报错但数据不对?

切片如 mv[1000:] 返回空视图,不抛异常;而 mv[1000] 才触发 IndexError。这意味着越界静默失败,极易埋下逻辑 bug。

  • 务必在切片前确认 len(mv) >= start + length,尤其在网络包解析或文件头读取时
  • 用 .nbytes 比 len() 更可靠(len() 对多维视图可能返回第一维长度)
  • 避免链式切片:如 mv[10:100][20:30] —— 第二层切片仍基于原始内存,但可读性差且易算错偏移

哪些函数接受 memoryview 而不强制拷贝?

只有明确支持缓冲协议的底层接口才能真正零拷贝。不是所有“能接收 bytes 的地方”都认 memoryview。

Shadows Python Sensei
Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载
  • ✅ socket.send(mv)、os.write(fd, mv)、struct.unpack_from(fmt, mv, offset) —— 直接走 C 层 buffer 接口
  • ❌ hashlib.md5().update(mv) 报 TypeError;必须写成 .update(bytes(mv)),这一步就触发完整拷贝
  • ⚠️ json.dumps()、print(mv)、str(mv) 都不适用——它们需要 Python 对象语义,memoryview 只能转成 bytes 或 list 后再用

关键判断:查该函数 CPython 源码或文档是否写着 “accepts a buffer object” 或 “supports the buffer protocol”。不确定就测——用 tracemalloc 或 psutil.Process().memory_info().rss 对比前后内存增长。

为什么 memoryview 改了原对象,但有时又改不动?

可写性取决于原始对象本身:bytes 不可变 → memoryview 只读;bytearray 可变 → memoryview 可写。但更隐蔽的问题是生命周期。

  • 一旦原始 bytearray 被 del 或函数返回后局部变量被回收,对应 memoryview 就变成悬空指针
  • 此时读可能返回旧值或随机字节,写可能触发 ValueError: underlying buffer is not writable 或静默破坏其他内存
  • 典型陷阱:把 memoryview 存进类属性或全局 dict,却让构造它的 bytearray 在函数退出后即销毁

没有运行时 API 能检测视图是否有效——唯一靠谱的做法是确保原对象存活时间 ≥ 所有视图的整个使用周期,必要时用 weakref.ref 做守卫,但代价是额外开销。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1571

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3764

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1589

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

21537

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2647

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2707

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1083

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

576

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2103

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程