怎么在Python中优化NumPy结构化数组的读写-Python教程-PHP中文网

结构化数组的 dtype 定义直接影响 I/O 性能：应避免 Unicode 字符串和嵌套 dtype，改用固定长度字节字符串与扁平化字段；优先使用 np.savez_compressed；内存映射需对齐字段大小；HDF5 需预声明 special_dtype 且字段名须合规。

怎么在python中优化numpy结构化数组的读写

结构化数组的 dtype 定义直接影响 I/O 性能

NumPy 结构化数组读写慢，八成出在 dtype 定义上。比如用 Python 字符串类型 'U10' 或嵌套 dtype（如 [('name', 'U20'), ('meta', [('x', 'f4'), ('y', 'f4')])]）会强制 NumPy 使用对象指针跳转，无法连续内存布局，np.save 和 np.fromfile 都会退化为逐字段序列化。

实操建议：

优先用固定长度字节字符串 'S32' 替代 'U32'，避免 Unicode 编码/解码开销
扁平化嵌套 dtype：把 ('meta', [('x','f4'),('y','f4')]) 拆成 ('meta_x', 'f4') 和 ('meta_y', 'f4')
字段名避免含空格或特殊字符，否则 np.genfromtxt 或 HDF5 后端可能静默降级为 object 模式

用 np.savez_compressed 替代 pickle 或 CSV

pickle 保留 Python 对象引用，csv 是纯文本解析，两者都比原生二进制慢一个数量级。而 np.savez_compressed 直接按 dtype 的内存布局压缩，不经过中间表示。

注意点：

它只压缩单个数组，多个结构化数组需打包进 dict：np.savez_compressed('data.npz', arr1=arr1, arr2=arr2)
加载后需用 npz_file['arr1'] 访问，不是直接返回数组；若字段含中文，保存前确保 arr.dtype.names 是 ASCII 字符串
压缩级别默认是 3，对科学数据通常 1–2 就够了，设 compress=True 即可，不必手动调 compression='lz4'（除非已装 lz4）

内存映射（mmap_mode）读大文件时别忽略 offset 对齐

用 np.memmap 读结构化数组时，如果 dtype 字段总宽不是 8 字节倍数（比如含 'i2' + 'f4' 导致 6 字节），操作系统页对齐可能失败，触发 ValueError: mmap length is greater than file size。

解决办法：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

用 np.dtype(...).itemsize 检查是否对齐，不对齐就加 padding 字段：('pad', 'V2') 补到 8 字节
mmap_mode='r' 时，文件必须已存在且大小严格等于 record_size * n_records，不能多一个 BOM 或换行
写入时用 np.memmap(..., mode='w+') 并显式调 flush()，否则部分字段可能没落盘

HDF5（h5py）适合混合读写但 dtype 要预声明

h5py 支持边写边读、压缩分块、字段索引，但结构化数组必须先定义 h5py.special_dtype，不能直接传 np.dtype。

典型写法：

import h5py
import numpy as np
<p>dt = np.dtype([('t', 'f8'), ('val', 'f4')])
h5_dtype = h5py.special_dtype(vlen=False, dtype=dt)</p><p>with h5py.File('data.h5', 'w') as f:
dset = f.create_dataset('raw', (1000000,), dtype=h5_dtype)
dset[:] = my_structured_array  # 必须 shape 匹配</p>

容易漏的点：