c++如何解析二进制协议中的变长整型(Varint)数据编码【附代码】

风墨吖_4030

风墨吖_4030

2026-04-07

262人浏览

原创

varint 是 protocol buffers 中用于紧凑编码无符号整数的变长字节序列,c++ 解析易出错因无内置支持,手动解析需逐字节处理 continuation bit、防溢出、限长 10 字节,并区分 int32/uint32/sint32 对应的 zigzag 解码。

c++如何解析二进制协议中的变长整型(varint)数据编码【附代码】

Varint 是什么,为什么 C++ 解析时容易出错

Varint 不是标准类型,而是 Protocol Buffers 等二进制协议中用于紧凑编码整数的变长字节序列:小数字用 1 字节,大数字最多用 10 字节(64 位)。C++ 没有内置解析函数,直接 memcpy 或强制类型转换会读错字节顺序、忽略 continuation bit(最高位 1 表示后续还有字节),导致解析结果远小于真实值,甚至死循环。

常见错误现象:ReadVarint64 返回 0 或极小值;读取后指针未正确前移,下一次解析从中间字节开始;对负数直接解析(Varint 只编码无符号整数,有符号数需额外 ZigZag 解码)。

手动解析 Varint 的核心逻辑与边界处理

本质是按字节读取,每次取低 7 位拼接,直到某字节最高位为 0。关键在指针移动、溢出检查和最大长度限制(防恶意输入)。

  • 必须逐字节判断 byte & 0x80 是否为真,决定是否继续读
  • 每次拼接前检查是否已读满 10 字节(uint64_t 最多需 10 字节 Varint),超限立即返回错误
  • 用 static_cast<uint8_t></uint8_t> 强制截断,避免符号扩展干扰低 7 位提取
  • 拼接时用 value |= (static_cast<uint64_t>(byte & 0x7F) ,shift 每轮加 7</uint64_t>

示例片段(不依赖 protobuf 库):

bool ReadVarint64(const char** ptr, const char* limit, uint64_t* out) {
  const char* p = *ptr;
  uint64_t value = 0;
  int shift = 0;
  while (p (*p++);
    value |= static_cast<uint64_t>(byte & 0x7F) <h3>ProtoBuf 中的 <code>ReadVarint32</code> 和 <code>ReadVarint64</code> 怎么用</h3>
<p>如果你已在项目中引入 protobuf(如 <code>google/protobuf/io/coded_stream.h</code>),优先复用其经过充分测试的实现,它们已处理字节序、缓冲区边界、恶意输入等细节。</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/gongju/2823" title="C++14"><img
														src="https://img.php.cn/upload/manual/001/431/639/6ac8b33c327c4749.png" alt="C++14" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/gongju/2823" title="C++14" class="overflowclass">C++14</a>
													<p class="overflowclass">C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。</p>
												</div>
												<a rel="nofollow" href="/xiazai/gongju/2823" title="C++14" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div>
<ul>
<li>必须先构造 <code>google::protobuf::io::CodedInputStream</code>,传入原始 buffer 和 size</li>
<li>
<code>ReadVarint32</code> 返回 <code>bool</code>,成功时通过引用参数输出值;失败可能是 buffer 不足或格式错误</li>
<li>注意:该类默认启用 aliasing(允许 buffer 复用),若 buffer 生命周期短于 stream,需调用 <code>SetTotalBytesLimit</code> 防止越界读</li>
</ul>
<p>简短调用示例:</p>
<pre class="brush:php;toolbar:false;">const char* data = ...;
int size = ...;
google::protobuf::io::ArrayInputStream input(data, size);
google::protobuf::io::CodedInputStream coded(&input);
coded.SetTotalBytesLimit(1024 * 1024); // 防止过大 payload
uint32_t val;
if (!coded.ReadVarint32(&val)) {
  // 解析失败
}

有符号整数(int32/int64)要额外做 ZigZag 解码

Varint 编码的是无符号整数,但 proto 中的 sint32 / sint64 使用 ZigZag 编码映射负数到正数空间(例如 -1 → 1,-2 → 3),再用 Varint 存储。漏掉这步会导致所有负数全解析成极大正数。

ZigZag 公式固定:

  • sint32: (n > 31)
  • sint64: (n > 63)

实际使用时,先用前述方法读出 uint32_t 或 uint64_t,再套公式。protobuf 库的 ReadVarint32 等函数不自动 ZigZag,必须手动调用 google::protobuf::internal::WireFormatLite::ZigZagDecode32 等辅助函数,或自己实现。

最易被忽略的是:Varint 本身没有“符号”概念,所有符号处理都发生在上层协议定义层面。哪怕只解析一个字段,也得先确认它在 .proto 中声明的是 int32、uint32 还是 sint32——三者底层 Varint 数据相同,解码逻辑却完全不同。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java进行强制类型转换
java进行强制类型转换

强制类型转换是Java中的一种重要机制,用于将一个数据类型转换为另一个数据类型。想了解更多强制类型转换的相关内容,可以阅读本专题下面的文章。

2023.12.01

1918

8

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

339

31

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

339

31

C++类型转换方式
C++类型转换方式

本专题整合了C++类型转换相关内容,想了解更多相关内容,请阅读专题下面的文章。

2025.07.15

2242

23

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

2026.10.10

100

15

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

2026.10.10

40

15

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

2026.10.10

20

15

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

2026.10.10

40

26

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

2026.10.10

40

32

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习