torch.load()崩溃源于pickle序列化机制脆弱性，文件截断、字节篡改或写入中断会导致eoferror或valueerror等报错，而非静默失败，需通过file命令、unzip -t等校验文件完整性。
PyTorch 加载损坏的 checkpoint 文件时，torch.load() 通常会直接抛出 RuntimeError 或 PickleError，而不是静默失败——这意味着你其实有机会提前拦截、诊断并绕过部分损坏内容。
为什么 torch.load() 会崩溃？关键在 pickle 协议和文件完整性
PyTorch 的 .pt / .pth 文件默认用 Python 的 pickle 序列化，一旦文件末尾截断、字节被篡改或磁盘写入中途中断，pickle.load() 在反序列化时就会触发底层 C 扩展错误（如 EOFError 或 ValueError: unsupported pickle protocol）。这不是 PyTorch 特有，而是序列化机制本身的脆弱性。
实操建议：
- 不要假设
os.path.getsize()大于 0 就代表文件可用；小文件（ - 若 checkpoint 来自分布式训练（如 DDP），检查是否所有 rank 都成功保存了完整文件；常见坑是只在
rank == 0保存，但误用了torch.save(..., rank)这类不存在的参数 - 用
file.seek(0)+file.read(4)快速验证 magic header：合法 PyTorch 文件开头通常是b'\x80\x02'（pickle protocol 2）或 \x80\x04（protocol 4）；非此开头基本可判定为损坏或非 torch 格式
如何安全加载并定位损坏字段？用 map_location='cpu' + 自定义 Unpickler
默认 torch.load() 会尝试把 tensor 映射到当前设备（比如 CUDA），但损坏往往发生在元数据或 state_dict 键名解析阶段，与设备无关。强制用 map_location='cpu' 能排除 GPU 相关干扰；更进一步，可替换 pickle 解析器来捕获具体失败位置。
实操示例（轻量级诊断）：
import pickle
import torch
<p>def safe_load_checkpoint(path):
try:
return torch.load(path, map_location='cpu')
except (RuntimeError, pickle.UnpicklingError) as e:
print(f"Load failed at file {path}: {e}")</p><h1>尝试读取 raw bytes 定位异常点</h1><pre class="brush:python;toolbar:false;"> with open(path, "rb") as f:
raw = f.read()
print(f"File size: {len(raw)} bytes")
if len(raw) 注意：torch.load() 内部已使用定制 Unpickler，所以不能直接传入自定义 pickle.Unpickler 子类；如需深度调试（例如跳过某个损坏 key），必须改用 torch._legacy_serialization.load()（不推荐）或降级到手动解析 zip 结构（见下一条）。
当 checkpoint 是 zip 格式（新版 PyTorch 默认）时，如何提取未损坏的部分？
PyTorch 1.6+ 默认将 checkpoint 存为 ZIP 归档（可通过 file -i xxx.pth 验证是否含 Zip archive data）。这意味着即使整体文件损坏，也可能只是某个内部文件（如 data.pkl 或某 tensor 的 storages/xxx）出问题，其余仍可读。
实操建议：
- 用
zipfile.ZipFile(path)打开，调用.namelist()查看结构；正常输出包含version、archive_version、data.pkl、storages/...等 - 逐个尝试读取
data.pkl：zip_file.read('data.pkl')，再用pickle.loads()解析——这样能精准定位是元数据损坏还是某个 tensor 存储块损坏 - 若
data.pkl可读但某个storages/xxx报错，说明模型权重部分损坏；此时可先加载 model 架构，跳过load_state_dict()，仅用预训练权重初始化部分层（需手动对齐 key）
修复失败后，如何最小化业务中断？避免重训的临时方案
完全恢复损坏 checkpoint 几乎不可能，但可降低损失：
- 检查同任务是否有近期备份（如
model_001000.pt、model_000950.pt）；PyTorch 不校验 step 编号，旧 checkpoint 往往仍能 resume - 若使用
torch.save({'state_dict': model.state_dict(), ...})格式，且只state_dict损坏，可尝试从相同架构的其他 checkpoint 中复制该字段（需确保model.state_dict().keys()完全一致） - 启用
torch.save(..., _use_new_zipfile_serialization=True)（PyTorch ≥1.6 默认开启）并配合torch.save(..., _disable_extraneous_data=True)（v2.3+）能减少元数据体积，间接提升鲁棒性
真正棘手的是混合了 optimizer state 和 scaler state 的大 checkpoint——这些对象序列化深度高、依赖运行时上下文，损坏后几乎无法 salvage。与其花时间修复，不如把精力放在保存策略上：每次 torch.save() 后立即 torch.load() 验证，并用 shutil.move(temp_path, final_path) 替代直接写入，避免覆盖未完成文件。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
