Python如何操作Protobuf?protobuf序列化

小丽同学_5967

小丽同学_5967

2025-08-16

925人浏览

原创

protobuf文件设计应预留字段、使用oneof和repeated关键字、添加版本注释以增强扩展性;处理兼容性问题需保持字段编号不变、避免删除字段、合理使用optional和enum的allow_alias;protobuf相比json具有体积小、解析快的优势,但可读性差,因此更适合高性能要求的内部服务通信和数据存储场景,而json更适合配置文件和对外api等需高可读性的场景。

Python如何操作Protobuf?protobuf序列化

Protobuf (Protocol Buffers) 是一种轻便高效的结构化数据存储格式,特别适合做数据交换协议和数据存储。Python 操作 Protobuf 核心在于定义

.proto

文件,然后使用 Protobuf 编译器生成 Python 代码,最后在 Python 代码中使用生成的类进行序列化和反序列化。

protobuf序列化

首先,你需要安装 Protobuf 编译器

protoc

和 Python 的 Protobuf 库。

# 安装 protobuf 编译器 (例如在 Ubuntu 上)
sudo apt-get update
sudo apt-get install protobuf-compiler

# 安装 Python protobuf 库
pip install protobuf

假设我们有一个简单的

.proto

文件,描述一个 Person 对象:

// person.proto
syntax = "proto3";

package example;

message Person {
  string name = 1;
  int32 id = 2;
  string email = 3;
}

接下来,使用

protoc

编译器生成 Python 代码:

protoc --python_out=. person.proto

这会在当前目录下生成

person_pb2.py

文件,其中包含了

Person

类的定义。

现在,可以在 Python 代码中使用这个类进行序列化和反序列化了:

import person_pb2

# 创建一个 Person 对象
person = person_pb2.Person()
person.name = "John Doe"
person.id = 123
person.email = "john.doe@example.com"

# 序列化
serialized_data = person.SerializeToString()
print(f"Serialized data: {serialized_data}")

# 反序列化
new_person = person_pb2.Person()
new_person.ParseFromString(serialized_data)

print(f"Name: {new_person.name}, ID: {new_person.id}, Email: {new_person.email}")

这就是一个基本的操作流程。

Protobuf 文件应该如何设计才能更好地适应未来的需求变化?

Python健壮编程
Python健壮编程

编写可靠Python代码,避免可变默认值、导入陷阱与运行时意外

下载

设计 Protobuf 文件时,考虑未来的扩展性至关重要。 一个好的策略是预留一些字段,即使当前用不到。例如,可以添加一些编号较高的字段,并附上注释说明“Reserved for future use”。 另外,使用

oneof

关键字可以处理互斥字段的情况,避免不必要的字段同时存在。 同时,尽量使用

repeated

关键字来表示列表,即使当前列表只有一个元素,也方便未来扩展为多个元素。 版本控制也很重要,可以考虑在

.proto

文件中加入版本号注释,方便追踪变更历史。 例如,可以这样写:

// Version: 1.0

。

如何处理 Protobuf 序列化中的兼容性问题?

Protobuf 的设计目标之一就是保持向后兼容性。 当你修改

.proto

文件时,只要遵循一些规则,就可以保证新旧代码可以互相解析。 最重要的是,不要修改已有的字段编号,也不要删除已有的字段。 如果需要修改字段类型,要确保新的类型可以兼容旧的类型。 例如,将

int32

改为

int64

是安全的,但反过来则可能导致数据丢失。 可以使用

optional

关键字来添加新的字段,这样旧的代码在解析新的消息时,会忽略这些未知的字段。 另外,可以使用

enum

类型来表示枚举值,并添加

allow_alias

选项,允许不同的枚举值使用相同的编号。 例如:

enum Status {
  option allow_alias = true;
  OK = 0;
  PENDING = 1;
  RUNNING = 1; // RUNNING 和 PENDING 具有相同的编号
}

Protobuf 与 JSON 相比,有哪些优缺点?在什么场景下更适合使用 Protobuf?

Protobuf 和 JSON 都是常用的数据序列化格式,但它们各有优缺点。 Protobuf 的优点是体积小、解析速度快,因为它采用二进制格式存储数据,并且使用了高效的编码算法。 JSON 的优点是可读性好,易于调试,因为它是文本格式,可以直接用文本编辑器打开查看。 另外,JSON 的生态系统非常完善,很多编程语言都提供了内置的 JSON 解析库。 Protobuf 更适合对性能要求较高的场景,例如网络传输、数据存储等。 JSON 更适合对可读性要求较高的场景,例如配置文件、API 接口等。 一个常见的场景是,内部服务之间使用 Protobuf 进行数据交换,而对外提供的 API 使用 JSON 格式。 这样既可以保证内部服务的性能,又可以方便外部开发者使用。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2023.08.07

2395

5

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.23

3962

1

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

2023.10.13

1316

3

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

2025.09.10

4619

7

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3268

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

5609

12

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.12.29

3909

9

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

2026.01.19

506

15

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

2023.08.14

7336

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程