不能直接 open().read() 读大文件算哈希，因为会一次性加载全部字节到内存导致 oom；应使用 hashlib.update() 流式分块处理，以二进制模式按固定大小（如 8192 字节）循环读取并更新哈希状态。
为什么不能直接 open().read() 读大文件算哈希？
内存会爆。比如一个 10GB 的 ISO 文件，open('file.iso', 'rb').read() 会尝试一次性加载全部字节到内存，Python 进程大概率被系统 OOM kill。哈希计算本身不需要全量驻留内存，关键在于流式分块处理。
hashlib 的 update() 方法才是正确入口
hashlib 所有哈希对象（如 sha256()）都支持多次调用 update()，内部维护状态，等价于把所有块拼起来再哈希。这才是分块的核心机制。
实操建议：
- 固定块大小（推荐
8192或65536字节），太小增加系统调用开销，太大无实质收益 - 始终以二进制模式打开文件：
open(path, 'rb')，避免编码/换行符干扰 - 不要用
readline()或for line in f——文本模式会破坏二进制哈希一致性
示例片段：
import hashlib
h = hashlib.sha256()
with open('bigfile.dat', 'rb') as f:
while chunk := f.read(8192): # Python 3.8+ 海象运算符
h.update(chunk)
print(h.hexdigest())
遇到 UnicodeDecodeError 或哈希值不一致？检查这三点
这不是哈希算法问题，而是读取方式出错：
- 确认没用
'r'模式打开二进制文件——open(..., 'r')会触发默认 UTF-8 解码，遇到非 UTF-8 字节直接报UnicodeDecodeError - 确认没在块之间插入额外数据（比如误加
\n或空格）——哈希对字节流完全敏感 - 对比工具是否用了不同算法或块对齐：Linux
sha256sum和 Pythonhashlib.sha256()结果应严格一致，若不一致，先用head -c 100 bigfile.dat | sha256sum和 Python 读前 100 字节比对
需要进度提示或中断恢复？别自己造轮子
纯哈希场景下，进度条只是用户体验优化；但若文件可能中断（如网络挂载、移动硬盘），需记录已处理偏移量。
轻量方案：
- 用
f.tell()在每次update()后记录当前位置，异常时从该 offset 继续 - 避免用
os.path.getsize()做进度分母——某些文件系统（如 /proc、FUSE）返回值不可靠 - 真要带进度条，用
tqdm包最省心：tqdm.wrapattr(f, 'read', total=os.stat(path).st_size)，但注意它不改变读取逻辑，只包装read()调用
真正容易被忽略的是：哈希值唯一性依赖完整字节流。哪怕最后一块只读了半截（比如 f.read(8192) 返回少于 8192 字节），只要没跳过任何字节，结果就正确——update() 不关心块边界，只认实际传入的字节序列。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
