fernet不能直接加密大文件,因为它要求整个明文一次性加载进内存,导致2gb文件易触发memoryerror或系统卡顿;应改用aes-ctr或aes-gcm流式分块加密,并妥善管理nonce、tag与密文拼接。

为什么不能直接用 fernet 加密大文件
Fernet 是 cryptography 里最常被推荐的对称加密接口,但它要求**整个明文必须一次性加载进内存**。加密一个 2GB 的日志文件时,会触发 MemoryError 或让系统明显卡顿。
真正可行的做法是流式加解密:用 AES 的 CTR 或 GCM 模式分块处理,同时手动管理 nonce 和认证标签。别碰 PKCS7 填充 + CBC——出错概率高、验证逻辑难写全。
-
CTR模式无需填充,适合流式;但必须确保每个加密操作的nonce绝对唯一(推荐用 12 字节随机数 + 4 字节计数器) -
GCM支持认证,更安全,但 Python 的cryptography要求你显式调用finalize_encrypt()和finalize_decrypt(),漏掉就解不出 - 永远把
nonce(或iv)和密文一起存,通常前置 12–16 字节,读取时先切出来
如何用 AESGCM 安全地加密文件
用 AESGCM 比 Fernet 多写 10 行,但换来的是可控的内存占用和强完整性校验。核心是:生成密钥、生成 nonce、分块加密、拼接 nonce+tag+ciphertext。
示例关键片段:
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成,提供 184 种工具和 200 多条命令,用于安全分析和代码质量...
from cryptography.hazmat.primitives.ciphers.aead import AESGCM from os import urandom <p>key = urandom(32) # 实际中应从密码派生(如 PBKDF2HMAC) nonce = urandom(12) # GCM 推荐 12 字节 aesgcm = AESGCM(key) ciphertext = aesgcm.encrypt(nonce, b"hello world", b"header") # aad 可选,但建议传非空 bytes</p><h1>存储时:nonce + ciphertext(其中最后 16 字节是 tag)</h1>
- 加密时传入的
aad(附加认证数据)建议设为文件路径或哈希,防止文件被错放/替换 - 解密失败会抛
cryptography.exceptions.InvalidTag,不是ValueError,别用错 except - 不要复用
nonce:同一密钥下重复nonce会导致密文可被完全破解
从口令派生密钥该用 PBKDF2HMAC 还是 Scrypt
Scrypt 理论上更抗 GPU 暴力,但 cryptography 的 Scrypt 实现要求 N >= 2**14,在低内存设备(如树莓派)上可能 OOM;而 PBKDF2HMAC 更稳,只要迭代次数够高(比如 iterations=600_000),实际防护效果差距不大。
别手写 salt——每次加密都用新 urandom(16),和密文一起存。salt 不保密,但必须随机。
- 参数示例:
derive_key(password, salt, length=32, iterations=600_000) - 用
hmac.HMAC验证解密后 salt 是否匹配,比只靠InvalidTag多一层防误操作 - 避免用
hashlib.pbkdf2_hmac:它不校验参数合法性,输错dklen可能静默截断密钥
解密时如何判断文件是否损坏或被篡改
仅靠 try/except InvalidTag 不够。真实场景中,常见错误包括:文件截断(ciphertext 少了最后 16 字节 tag)、nonce 长度不对、密钥错位导致前几块能解后几块乱码。
- 固定格式存储:前 16 字节 = salt,接着 12 字节 = nonce,后面是密文(含末尾 16 字节 tag)
- 解密前先校验总长度 ≥ 16 + 12 + 16 = 44 字节,否则直接报
ValueError("truncated file") - 对小文件(
最易忽略的一点:AESGCM.decrypt() 返回的是原始明文 bytes,不会自动解码成 str。如果你存的是 UTF-8 文本,解密后得显式调用 .decode("utf-8"),否则后续字符串操作全崩。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










