使用python操作hdf5文件最常用的方法是借助h5py库。1. 创建和写入hdf5文件时，通过h5py.file()以'w'或'a'模式打开文件，并使用create_dataset()创建数据集；2. 读取文件时，使用'r'模式并按需访问特定数据集，通过切片操作节省内存；3. 使用create_group()实现数据分组管理，支持嵌套结构；4. 数据类型可显式指定，提升灵活性；5. 大数据量建议开启压缩，如使用compression="gzip"等参数配置，但需权衡空间与速度。路径管理和压缩配置是项目初期需重点规划的内容。
用Python操作HDF5文件，最常用的方法是借助 h5py 这个库。它提供了对 HDF5 文件格式的完整接口，适合处理大规模科学数据、机器学习中的数据集存储等场景。
下面从几个常见使用角度出发，带你快速上手 h5py 的基本用法。
创建和写入HDF5文件
创建 HDF5 文件是最基础的操作之一。你可以把它理解为一个“容器”，里面可以存放多个数据集（dataset）和组（group），结构类似文件夹和文件。
import h5py
import numpy as np
# 创建一个HDF5文件，并写入数据
with h5py.File('example.h5', 'w') as f:
# 创建一个名为'data'的数据集，存储一个numpy数组
dset = f.create_dataset("data", data=np.arange(100))
-
'w'表示写模式，如果文件已存在会被覆盖。 - 你也可以使用
'a'模式来追加内容，不会清空已有数据。 - 数据集的名字可以自定义，路径风格支持嵌套，比如
/group1/data1。
读取HDF5文件中的数据
读取时不需要加载整个文件到内存中，可以按需访问特定数据集，这对处理大文件特别友好。
with h5py.File('example.h5', 'r') as f:
# 获取数据集
dset = f['data']
# 读取数据到numpy数组
data = dset[:]
-
f.keys()可以查看当前文件中有哪些数据集或组。 - 使用切片操作（如
dset[:10]）可以只读取部分数据，节省内存。
如果你不确定某个名字是否存在，可以用 in 来判断：
if 'data' in f:
print("数据集存在")
使用组管理数据结构
HDF5 支持分组管理数据，就像目录一样，方便组织多个数据集。
with h5py.File('example.h5', 'w') as f:
# 创建组
group = f.create_group("my_group")
# 在组内创建数据集
group.create_dataset("dataset1", data=np.random.rand(10))
读取时也是一样：
with h5py.File('example.h5', 'r') as f:
if 'my_group' in f:
subgroup = f['my_group']
if 'dataset1' in subgroup:
data = subgroup['dataset1'][:]
- 组可以嵌套，例如：
f.create_group("group1/subgroup1") - 用
visititems()遍历所有节点也是一种常见做法：
def print_name(name, obj):
print(name)
with h5py.File('example.h5', 'r') as f:
f.visititems(print_name)
小贴士：数据类型与压缩设置
h5py 默认会自动推断数据类型，但你也可以显式指定：
f.create_dataset("int_data", data=[1,2,3], dtype='i8')
另外，对于大数据量，建议开启压缩，减少磁盘占用：
f.create_dataset("compressed_data", data=np.arange(1000), compression="gzip", compression_opts=9)
- 压缩等级一般在 0~9，数字越大压缩率越高，速度越慢。
- 除了 gzip，还支持
lzf和szip等算法。
需要注意的是，压缩虽然节省空间，但会影响读写速度，要根据实际场景权衡使用。
基本上就这些。掌握了这几个核心点，就能用 h5py 处理大多数 HDF5 场景了。不复杂但容易忽略的地方在于路径管理和压缩配置，建议在项目初期就规划好数据结构。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
