Python中如何使用hashlib计算大文件的MD5值？-Python教程-PHP中文网

不能直接用hashlib.md5(file.read())处理大文件，因为file.read()会一次性将全部内容载入内存，易引发memoryerror；应改用分块读取+hash.update()迭代更新，如每次读8192字节并以"rb"模式打开文件。

python中如何使用hashlib计算大文件的md5值？

为什么不能直接用 `hashlib.md5(file.read())` 读大文件？

因为 file.read() 会把整个文件一次性加载进内存，几GB的文件可能直接触发 MemoryError 或拖慢系统。MD5 计算本身不要求全量加载，只要按块喂给哈希对象即可。

正确做法：分块读取 + 迭代更新 `hashlib.md5()`

核心是用 hash.update() 累积处理数据块，避免内存爆炸。典型块大小选 8192（8KB）或 65536（64KB），兼顾 I/O 效率和内存占用：

import hashlib
<p>def calc_md5(filepath):
hash_md5 = hashlib.md5()
with open(filepath, "rb") as f:
for chunk in iter(lambda: f.read(8192), b""):
hash_md5.update(chunk)
return hash_md5.hexdigest()
</p>

必须用 "rb" 模式打开，二进制读取才能保证一致性
iter(lambda: f.read(8192), b"") 是安全的分块迭代写法，比 while True + break 更 Pythonic
块大小不是越大越好：超过 1MB 后收益递减，且可能挤占其他程序内存

遇到 `UnicodeDecodeError` 或乱码输出？

这说明你误用了文本模式（"r"）或对字节结果做了错误解码。MD5 值是纯十六进制字符串，不是文本：

Python数据分析(免费版)

提供Python数据清洗、统计分析与可视化建议，覆盖业务报表与科研数据的快速处理流程。

下载

绝对不要写 hash_md5.update(f.read().encode()) —— 文件已是二进制，再 encode 会报错
不要对 hash_md5.hexdigest() 调用 .decode()，它返回的就是 str
如果用 hash_md5.digest()，那得到的是 bytes，需转成 hex 才可读，推荐始终用 hexdigest()

需要同时算 SHA256 或校验多个哈希？复用逻辑更稳

把哈希构造函数抽出来，避免硬编码算法名：

def calc_hash(filepath, hash_func=hashlib.md5, chunk_size=8192):
    h = hash_func()
    with open(filepath, "rb") as f:
        for chunk in iter(lambda: f.read(chunk_size), b""):
            h.update(chunk)
    return h.hexdigest()
<h1>用法</h1><p>md5 = calc_hash("big.zip", hashlib.md5)
sha256 = calc_hash("big.zip", hashlib.sha256)
</p>

注意 hashlib.sha256() 和 hashlib.md5() 接口完全一致，但 SHA256 更安全；MD5 已不适用于安全场景，仅限校验完整性。

真正容易被忽略的是：某些 NAS 或网络文件系统在读大文件时可能因缓存策略导致 f.read() 返回短于预期的块——这不是 bug，而是底层行为，所以别依赖每次 len(chunk) == 8192。