不能直接open().read()计算大文件md5，因会一次性加载全部字节到内存导致oom；正确做法是用rb模式分块读取（如8192字节），循环调用hashlib.md5().update()增量计算。
为什么不能直接 open().read() 计算大文件的 MD5
内存会爆。比如一个 4GB 的 ISO 文件，open('file.iso', 'rb').read() 会尝试一次性加载全部字节到内存，Python 进程很可能被系统 OOM killer 干掉，或者卡死数分钟。MD5 算法本身支持增量计算，关键是要分块喂给 hashlib.md5()，而不是拼接后一次性哈希。
用 hashlib.md5() 分块更新的正确写法
核心是循环读取固定大小的 chunk（推荐 8192 或 65536 字节），每次调用 update()。块太小（如 1）会导致系统调用过多、性能骤降；太大（如 1024*1024*100）又失去流式优势，可能吃光内存。
示例代码：
import hashlib
def calc_md5(filepath):
hash_md5 = hashlib.md5()
with open(filepath, "rb") as f:
for chunk in iter(lambda: f.read(8192), b""):
hash_md5.update(chunk)
return hash_md5.hexdigest()
-
iter(lambda: f.read(8192), b"")是 Python 中安全分块读取的惯用写法，比while True+break更简洁且不易漏判空字节 - 不要用
f.read(8192) or None—— 空字节串b""是合法返回值，但不是None，会导致无限循环 - 确保以
"rb"模式打开，文本模式会破坏二进制内容，哈希值必然错误
校验时要注意的三个实际坑点
MD5 值对文件内容零容忍，任何细微差异都会导致完全不同结果。常见翻车场景：
- 换行符：Windows 的
\r\n和 Linux 的\n会被视为不同字节 —— 传文件前确认是否已统一换行格式（尤其脚本或配置文件） - 隐藏元数据：某些工具（如
zip、tar）打包时默认附带时间戳、权限位等，即使文件内容一致，归档包 MD5 也可能不同 - 空格与 BOM：UTF-8 文件开头若有 BOM（
\xef\xbb\xbf），或末尾多一个空格，哈希值就失效 —— 可用xxd -l 16 yourfile快速检查开头字节
需要更高性能？试试 mmap 或第三方库
纯 Python 分块读在机械硬盘上够用，但在 NVMe SSD 或需要频繁校验大量小文件时，I/O 仍是瓶颈。两种优化路径：
- 用
mmap替代read()：对超大只读文件（>1GB），mmap可减少内存拷贝，但需注意mmap.ACCESS_READ和平台兼容性（Windows 上可能更慢） - 用
pycryptodome的MD5.new()：它底层用 C 实现，比标准库快约 15–20%，但需额外安装：pip install pycryptodome - 避免多线程加速 MD5：MD5 是顺序算法，多线程读同一文件反而因锁竞争变慢；真正提速靠的是并行处理多个不同文件
真正容易被忽略的，是校验前没确认文件是否已被其他进程写入中 —— 正在被下载或解压的文件，calc_md5() 可能读到不完整内容，哈希值自然无效。加个 os.path.getsize() 对比预期大小，或等 inotify / watchdog 报告写入完成，比重算三次 MD5 更省事。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
