如何在Python中利用msgpack替代json实现更小体积的高速传输?

夜枫姑娘_3612

夜枫姑娘_3612

2026-11-18

859人浏览

原创

MessagePack比JSON更小更快的根本原因是其采用二进制序列化,省去JSON中所有冗余文本字符(如引号、逗号、括号),且通过单字节类型标识实现高效解析;实测体积减至40%–60%,速度提升2–5倍。

如何在python中利用msgpack替代json实现更小体积的高速传输?

msgpack比json小且快的根本原因是什么?

因为msgpack是二进制序列化协议,不带冗余字符(比如引号、逗号、空格),也不强制字符串键名;而json是纯文本,所有键和字符串值都必须加双引号,数字和布尔值还要转成ASCII字节。实测同一份嵌套字典,msgpack体积通常只有json的40%–60%,序列化/反序列化速度高2–5倍——尤其在大量数值或短键名场景下更明显。

用msgpack.packb()和msgpack.unpackb()完成基础替换

别用json.dumps()/json.loads()那一套思维。msgpack默认不支持Python的datetime、set、自定义类等类型,直接传会报TypeError: can not serialize 'datetime' object。

基础替换步骤:

  • 安装:pip install msgpack
  • 序列化:用msgpack.packb(data, use_bin_type=True),use_bin_type=True确保bytes类型不被转成str(否则Python 3下可能出错)
  • 反序列化:用msgpack.unpackb(data_bytes, raw=False),raw=False让二进制key自动转成str(兼容dict习惯)
  • 网络传输时,直接发bytes,不用再.encode();接收后也无需.decode()

示例:

Camoufox Open Source Anti-Detect Browser for Python Automation
Camoufox Open Source Anti-Detect Browser for Python Automation

Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。

下载
import msgpack
<p>data = {"id": 123, "name": "alice", "scores": [95.5, 87]}
packed = msgpack.packb(data, use_bin_type=True)  # → bytes
unpacked = msgpack.unpackb(packed, raw=False)   # → {'id': 123, 'name': 'alice', ...}
</p>

遇到datetime、numpy数组或自定义类怎么办?

msgpack默认不认这些类型,但支持通过default和object_hook扩展。关键不是“怎么塞进去”,而是“收回来时能否无损还原”。

  • datetime:推荐转为时间戳整数(int(dt.timestamp())),反序列化时再转回;避免用isoformat()字符串,那又变大了
  • numpy.ndarray:用.tolist()最简单,但大数组会丢精度且慢;更优是先.tobytes() + 记录dtype和shape,打包成字典再序列化
  • 自定义类:在default=里返回{"__class__": "MyClass", "data": {...}}结构,再用object_hook=识别并重建实例
  • 注意:启用strict_map_key=False可允许非string key(如int做dict键),但接收方必须同样设,否则unpackb会报错

和服务端/其他语言互通时最容易翻车的点

msgpack标准本身跨语言,但Python的msgpack库默认行为和其他语言(如JavaScript的msgpack-lite、Rust的rmp-serde)不完全对齐。

  • Python默认把字符串当bin类型(如果use_bin_type=True),而JS默认按str处理;两边要统一设raw=True或raw=False
  • 浮点数精度:Python用double,但某些嵌入式msgpack实现只支持float32,传3.1415926535过去可能变成3.1415927
  • 空值处理:None在msgpack里是nil,没问题;但有些旧版JS库把nil当成undefined,导致字段丢失
  • 最稳妥做法:和对方约定使用raw=False + use_bin_type=True,并用msgpack.ExtType显式标记特殊数据(比如timestamp、binary blob),而不是依赖隐式转换

传输前务必用len(packed)对比json大小,用timeit跑几轮确认加速效果——有时候数据太小,msgpack的编码开销反而比json高。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python js json

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1951

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5524

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1889

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

33737

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3967

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3967

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1283

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3063

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程