如何在Python中使用mmap模块实现大文件的内存映射以加速访问？-Python教程-PHP中文网

直接用open()读大文件慢是因为每次read()触发系统调用并多次拷贝数据到用户空间；而mmap通过内存映射实现零拷贝、按需加载，将文件映射为虚拟内存供直接访问，i/o由内核页缓存调度，对随机访问和重复读更高效。

如何在python中使用mmap模块实现大文件的内存映射以加速访问？

为什么直接用 `open()` 读大文件会慢？

因为每次 read() 都触发系统调用，频繁拷贝数据到用户空间；而 mmap 把文件直接映射进进程虚拟内存，后续访问像操作内存数组一样，零拷贝、按需加载。但注意：它不减少磁盘 I/O，只是把 I/O 调度交给内核页缓存管理，对随机访问和重复读特别有效。

`mmap.mmap()` 的关键参数怎么选？

最常踩坑的是 length 和 access 参数：

length=-1 是安全默认值，表示映射整个文件（实际长度由 os.stat(file).st_size 决定）；显式传入长度必须 ≤ 文件大小，否则报 OSError: [Errno 22] Invalid argument
access=mmap.ACCESS_READ（只读）性能最好，且能映射超过可用物理内存的文件；若需写入，必须用 ACCESS_WRITE，且文件需可写，否则抛 PermissionError
Windows 下必须指定 fileno（即 fd = os.open(...)），不能直接传文件路径；Linux/macOS 支持 fileno=fd 或直接传 fd（推荐统一用 os.open() 获取）

如何安全地读取二进制结构化数据（如 float32 数组）？

别用 .read() —— mmap 对象支持切片和字节索引，但要配合 struct 或 numpy.frombuffer() 解析：

python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的双功能合体技能，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途：；核心要点📝 题解模式：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式：输入 Python 代码，自动添加详细中。它将相关步骤、

下载

import mmap
import numpy as np
<p>with open('data.bin', 'rb') as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:</p><h1>直接视作 uint8 数组（无拷贝）</h1><pre class="brush:python;toolbar:false;">    arr = np.frombuffer(mm, dtype=np.float32)
    # 或按偏移读特定段：mm[1024:2048].cast('f')

⚠️ 注意：np.frombuffer() 返回的是只读视图；若需修改并同步回文件，得用 ACCESS_WRITE + np.ndarray 的 writeable=True（需手动设置 mm.flush() 持久化）