如何在Python中高效序列化复杂对象以减少网络传输延迟?

风宇大大_7543

风宇大大_7543

2026-09-04

822人浏览

原创

msgpack.packb()比pickle.dumps()更适合网络传输,因其输出纯二进制、无python特有元信息,体积更小(如示例减少约52%)、跨语言兼容且无代码执行风险;而pickle含运行时上下文,体积大且不安全。

如何在python中高效序列化复杂对象以减少网络传输延迟?

用 msgpack 替代 pickle 是最直接有效的做法,尤其在微服务间高频通信场景下,序列化体积可减少 30%–50%,反序列化耗时通常降低 20% 以上。

为什么 msgpack.packb() 比 pickle.dumps() 更适合网络传输

msgpack 输出纯二进制、无 Python 特定元信息,不携带类名、模块路径或代码执行指令;而 pickle 的协议版本(如 protocol=5)虽已优化,仍包含大量运行时上下文,导致体积膨胀且无法跨语言解析。

  • 相同字典 {"user_id": 123, "tags": ["a", "b"], "ts": 1725289080},pickle.dumps(..., protocol=5) 输出约 128 字节,msgpack.packb(...) 仅约 62 字节
  • msgpack.unpackb(data, raw=False) 默认将字节串转为 str,避免手动 decode;raw=True 则返回 bytes,适用于需要保留原始编码的场景(如嵌套二进制字段)
  • 若对象含 datetime、Decimal 或自定义类型,msgpack 需显式传入 default=... 和 ext_hook=... 处理,否则抛 TypeError: can not serialize 'datetime'

自定义类对象怎么用 msgpack 序列化

不能直接传实例给 msgpack.packb() —— 它不像 pickle 那样自动调用 __dict__ 或魔术方法。必须先转成 dict/list/tuple 等基础结构。

Li Python Sec Check
Li Python Sec Check

Python 安全规范检查工具:基于 CloudBase 规范、腾讯安全指南,LLM 智能分析(默认禁用,优先本地执行)

下载
  • 推荐在类中实现 to_msgpack() 方法,显式控制字段导出逻辑(比如过滤敏感字段、格式化时间)
  • 反序列化时用 @classmethod def from_msgpack(cls, data): 构造新实例,而非依赖 __setstate__
  • 避免在 default 回调里做深拷贝或 I/O 操作,否则会拖慢序列化主线程

示例:

import msgpack
from datetime import datetime

class User:
    def __init__(self, name, created_at):
        self.name = name
        self.created_at = created_at

    def to_msgpack(self):
        return {
            "name": self.name,
            "created_at": int(self.created_at.timestamp())
        }

    @classmethod
    def from_msgpack(cls, data):
        return cls(data["name"], datetime.fromtimestamp(data["created_at"]))

u = User("Bob", datetime.now())
packed = msgpack.packb(u.to_msgpack())
unpacked = msgpack.unpackb(packed, raw=False)
restored = User.from_msgpack(unpacked)

遇到 TypeError: can not serialize 'set' 怎么办

msgpack 原生不支持 set、complex、memoryview 等类型,报错位置往往在嵌套结构深层,不容易一眼定位。

  • 先用 print(type(obj), obj) 快速检查待序列化对象的顶层类型,再逐层 inspect 其属性
  • 统一用 default 参数接管:例如 default=lambda x: list(x) if isinstance(x, set) else None,但注意 None 会掩盖其他类型错误,建议按类型分支处理
  • 更稳妥的方式是预处理:递归遍历对象,把所有 set 转 list,datetime 转 int 或 str,再交给 msgpack.packb()

真正难处理的不是“怎么序列化”,而是“哪些字段不该序列化”——比如数据库连接、线程锁、回调函数引用。这些一旦漏掉检查,msgpack 不会报错,但会在反序列化端引发隐晦的 AttributeError 或逻辑错乱。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1651

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4024

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1649

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23277

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2847

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2887

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1143

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2243

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程