怎样在Python中优雅地序列化与反序列化复杂类对象

酷杰吖_4084

酷杰吖_4084

2026-10-03

435人浏览

原创

pickle仅适用于可信环境内的临时序列化,跨语言、安全性和版本兼容性差;推荐dataclass_json处理结构化数据,或通过__getstate__/__setstate__精细控制。

怎样在python中优雅地序列化与反序列化复杂类对象

Python原生的pickle能直接序列化绝大多数自定义类对象,但“优雅”取决于你是否需要跨语言、可读性、安全性或版本兼容性——如果只是本项目内临时存取,pickle最省事;一旦涉及API、配置、持久化存储或第三方交互,它就不是优雅,而是隐患。

为什么pickle不总是靠谱

它依赖Python特定的类路径和代码结构,反序列化时会动态执行__reduce__或导入模块,存在远程代码执行风险(比如加载恶意pickle流);类字段增减、重命名、模块移动后,UnpicklingError或AttributeError几乎必然发生。

常见错误现象:

  • AttributeError: 'MyClass' object has no attribute 'new_field'(类加了字段,旧数据没默认值)
  • ModuleNotFoundError: No module named 'old_package.utils'(类被挪到新模块)
  • TypeError: __init__() missing 2 required positional arguments(__init__签名变了,但pickle仍按旧方式重建实例)

实操建议:

  • 仅在可信环境(如单机缓存、进程间短时通信)用pickle,且固定协议版本:pickle.dumps(obj, protocol=4)
  • 永远不用pickle.loads()处理不可信输入;改用RestrictedUnpickler白名单机制(需自行实现)
  • 避免序列化含lambda、嵌套函数、文件句柄、线程锁等不可持久化对象

用dataclasses + dataclass_json做结构化转换

适合有明确数据契约的类,目标是生成可读JSON,并支持字段默认值、类型校验、别名映射。

安装:pip install dataclass-json

示例:

Sakura python draw
Sakura python draw

使用Python的turtle和random库,递归绘制分形樱花树,并动画模拟花瓣自然飘落效果。

下载
from dataclasses import dataclass
from dataclass_json import dataclass_json
from datetime import datetime
<p>@dataclass_json
@dataclass
class User:
name: str
created_at: datetime
tags: list[str] = None  # 可选字段,自动转为None而非报错</p><p>u = User("alice", datetime.now())
s = u.to_json()  # 得到标准JSON字符串,datetime自动ISO格式化
u2 = User.from_json(s)  # 自动把ISO时间转回datetime实例
</p>

关键点:

  • 必须用@dataclass,否则dataclass_json不识别字段
  • to_json()默认不输出None字段,可通过exclude=lambda f: f.name == "tags"定制
  • 嵌套dataclass自动递归处理,但循环引用会报RecursionError
  • 不支持NamedTuple或普通class——得先改成@dataclass

手动控制序列化逻辑:重写__getstate__和__setstate__

当你无法改类定义(如继承第三方库类),或需要精细控制哪些字段落盘、如何转换(比如把numpy.ndarray转成list),就得介入pickle流程本身。

示例(排除敏感字段+兼容旧版本):

class Model:
    def __init__(self, weights, api_key):
        self.weights = weights      # 大数组,想存为list
        self.api_key = api_key    # 绝对不能序列化!
<pre class="brush:php;toolbar:false;">def __getstate__(self):
    state = self.__dict__.copy()
    state["weights"] = self.weights.tolist()  # 转可序列化格式
    state.pop("api_key", None)                # 彻底剔除
    return state

def __setstate__(self, state):
    # 兼容旧数据:如果没"weights"字段,设默认值
    if "weights" not in state:
        state["weights"] = []
    self.__dict__.update(state)

注意:

  • __getstate__返回的字典就是pickle实际保存的内容,修改它等于重定义序列化契约
  • __setstate__必须能处理缺失键、类型变更等降级场景,否则老数据一加载就崩
  • 不要在__setstate__里调用self.__init__()——此时实例已创建,直接更新__dict__即可

真正麻烦的从来不是“怎么序列化”,而是“怎么让未来半年后的自己,或者另一个团队成员,能毫无障碍地把三年前存的数据读出来”。字段默认值、类型提示、显式转换逻辑、测试用例覆盖边界情况——这些比选哪个库重要得多。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1651

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4024

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1629

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23217

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2847

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2887

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1143

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2243

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程