推理时应只保存模型参数,即调用model.state_dict()并确保model.eval(),避免保存优化器、调度器等冗余数据;推荐使用safetensors格式替代pickle,并用torch.jit.trace或torch.export导出轻量可部署模型。

只保存模型参数,不存优化器和调度器
推理时根本用不到优化器状态,但默认 torch.save 如果传入整个 checkpoint 字典(含 optimizer.state_dict()),会把几倍于模型大小的动量、二阶矩等冗余数据全写进文件。常见错误是直接复用训练保存逻辑,结果单个检查点从 200MB 涨到 800MB。
- 只提取
model.state_dict(),丢掉optimizer、scheduler、epoch、loss等所有训练相关字段 - 确保模型已调用
model.eval(),避免保存 training-mode 下的 BatchNorm 统计值偏差 - 如果用了
torch.compile()或nn.DataParallel,先用model.module.state_dict()或model._orig_mod.state_dict()取原始参数
torch.save(model.state_dict(), "model_inference.pth")
用 torch.jit.trace 或 torch.export 导出轻量格式
state_dict 仍需配合代码加载,且反序列化慢;而 torch.jit.trace 或更新的 torch.export 能生成自包含的、可脱离 Python 环境运行的模型包,体积更小、启动更快,适合部署。
-
torch.jit.trace要求输入是固定 shape 的torch.Tensor,动态 shape(如 NLP 中变长序列)容易 trace 失败,报错类似TracingFailed -
torch.export(PyTorch 2.3+)支持符号张量,对动态控制流更友好,但需确保模型里没用print()、logging或依赖全局变量的逻辑 - 导出后用
torch.jit.load()或torch.export.load()加载,不再需要原始模型类定义
example_input = torch.randn(1, 3, 224, 224)
traced_model = torch.jit.trace(model, example_input)
traced_model.save("model_traced.pt")
保存时禁用 pickle,改用 safetensors 格式
默认 torch.save 用 Python pickle,有反序列化执行任意代码风险,且无法校验完整性;safetensors 是零拷贝、内存映射友好的二进制格式,加载快、安全、体积略小,现已成为 Hugging Face 生态事实标准。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限
- 需先
pip install safetensors,然后用safetensors.torch.save_file()替代torch.save() - 不能直接保存
model对象,只能保存state_dict这种字典结构 - 不支持保存
torch.Tensor的requires_grad=True状态(推理本就不需要),若误保留会报错
from safetensors.torch import save_file save_file(model.state_dict(), "model.safetensors")
验证保存后的文件能否干净加载并跑通前向
很多人保存完就以为万事大吉,结果部署时发现 KeyError: 'conv1.weight' 或 RuntimeError: expected scalar type Float but found Double —— 这些问题必须在保存后立刻验证,而不是等到 CI 或线上环境暴露。
- 开一个新 Python 进程(或重启 interpreter),用最简逻辑重新实例化模型、加载权重、做一次
forward - 检查 tensor device 和 dtype 是否一致:加载后调用
next(model.parameters()).device和.dtype,确认没意外变成 CPU 或 float64 - 如果用了
torch.compile后保存,加载时别再 compile,否则可能触发重复编译或 cache 冲突
loaded_model = MyModel()
loaded_model.load_state_dict(torch.load("model_inference.pth"))
loaded_model.eval()
with torch.no_grad():
out = loaded_model(torch.randn(1, 3, 224, 224))
模型参数名是否带 module. 前缀、torch.dtype 是否统一、safetensors 的 key 名是否和模型期望完全匹配——这些细节不报错但会导致静默失败,得手动对一遍。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










