如何在Python中解决PyTorch模型保存体积过大_只保存state_dict而非模型

千瑶小哥_9000

千瑶小哥_9000

2026-05-26

327人浏览

原创

应保存 model.state_dict() 而非整个 model,因其仅含参数和缓冲区张量,轻量、可移植、加载快;完整保存需包含 epoch、optimizer 等元信息,并注意 eval() 模式、结构一致性和 device 映射。

如何在python中解决pytorch模型保存体积过大_只保存state_dict而非模型

为什么保存 model.state_dict() 而不是整个 model?

直接 torch.save(model, path) 会把模型类定义、构造函数参数、甚至 Python 对象引用(如自定义 forward 中的闭包、非 tensor 属性)一并序列化,体积大且跨环境易出错。而 model.state_dict() 只含 nn.Parameter 和已注册的 buffer(如 running_mean),纯张量字典,轻量、可移植、加载快。

保存时只存 state_dict 的标准写法

务必用 model.state_dict(),而非 model.module.state_dict()(除非用了 DataParallel 且当前是多卡训练后单卡加载);同时建议加 torch.save(..., _use_new_zipfile_serialization=True)(PyTorch ≥1.6 默认开启,但显式声明更稳妥):

torch.save({
    'epoch': epoch,
    'model_state_dict': model.state_dict(),
    'optimizer_state_dict': optimizer.state_dict(),
}, 'checkpoint.pth')
  • 不推荐 torch.save(model.state_dict(), 'model.pth') —— 缺少元信息,后续无法知道训练轮次或优化器状态
  • 若模型用了 torch.compile(),需先调用 torch.compile(model, ...).uncompile() 再取 state_dict,否则可能报 AttributeError: 'CompiledFunction' object has no attribute 'state_dict'
  • 保存前可调用 model.eval(),避免训练态 buffer(如 dropout mask)被意外存入

加载时必须重建模型结构再载入 state_dict

torch.load() 返回的是字典,不能直接当模型用。必须先实例化相同结构的模型对象,再用 load_state_dict():

361SCAN security check your skill python scripts
361SCAN security check your skill python scripts

扫描并分析已安装技能,用于查看指定技能目录的名称、描述和详情,或列出所有已安装的技能。

下载
model = MyModel()  # 必须与保存时结构一致
checkpoint = torch.load('checkpoint.pth')
model.load_state_dict(checkpoint['model_state_dict'])
  • 若提示 Missing key(s) in state_dict:说明模型结构变了(比如新增了层),可用 strict=False 忽略缺失键,但要确认是否合理
  • 若提示 Unexpected key(s) in state_dict:说明模型结构变精简了(如删了某层),同样可设 strict=False,或检查是否误用了旧 checkpoint
  • 加载后别忘了 model.to(device),state_dict 本身不含 device 信息

进一步压缩体积:用 torch.save(..., _pickle_protocol=4) 和半精度

默认 pickle 协议较旧,文件偏大;另外,若推理场景允许,可转为 float16 存储权重(注意 batch norm 的 running_var 需保持 float32 稳定性):

# 保存时转 half(仅适用于 inference)
state_dict = {k: v.half() if 'weight' in k or 'bias' in k else v
              for k, v in model.state_dict().items()}
torch.save(state_dict, 'model_half.pth', _pickle_protocol=4)
  • _pickle_protocol=4 在 Python 3.8+ 下生效,比默认的 protocol 2 小约 15–20%
  • 不要对 running_mean/running_var 调用 .half(),否则 BN 层在推理时数值不稳定
  • 加载后需手动 model.half() 并 model.eval(),且确保所有输入也转为 half

实际项目中,最常被忽略的是:保存时没确认模型是否处于 eval() 模式,导致 dropout 或 batch_norm 的临时状态混入;还有就是加载时直接 torch.load() 后当成模型调用,忘了重建结构——这两个点一旦出错,既不报错又结果异常,调试成本远高于体积本身。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1791

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4664

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1749

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

27617

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3327

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3347

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1203

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2583

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习