Java中 BufferedInputStream 怎么在解析 Protocol Buffers 字节流时做前端缓存

老墨君_9363

老墨君_9363

2026-07-24

897人浏览

原创

bufferedinputstream 仅提供字节级缓存以减少 i/o 调用,不参与 protobuf 解析;正确用法是将其置于数据源与 codedinputstream 之间,提升小读取吞吐量,缓冲区大小影响性能但不影响解析正确性。

java中 bufferedinputstream 怎么在解析 protocol buffers 字节流时做前端缓存

BufferedInputStream 本身不参与 Protocol Buffers(protobuf)的解析逻辑,它只是对底层输入流做字节级缓存,目的是减少系统 I/O 调用次数;在 protobuf 解析场景中,它的作用是“让 InputStream 读得更高效”,而非“帮 protobuf 做协议层缓存或预解析”。

为什么需要 BufferedInputStream 配合 protobuf?

protobuf 的 Java 实现(如 com.google.protobuf.CodedInputStream)默认直接包装原始 InputStream。如果这个流来自文件、网络 socket 或其他慢速源,每次调用 read() 都可能触发一次系统调用或网络等待。加上 BufferedInputStream 后,数据会先批量读入内存缓冲区(默认 8KB),后续 protobuf 解析时的多次小读取(比如读一个 varint 字段长度、再读字段内容)就能从内存快速返回,显著提升吞吐量。

正确包装方式:BufferedInputStream 在最外层

必须确保 BufferedInputStream 是最靠近数据源的一层,再交给 protobuf 解析器:

  • ✅ 正确:数据源 → BufferedInputStream → CodedInputStream → parseFrom()
  • ❌ 错误:数据源 → CodedInputStream → BufferedInputStream(无意义,CodedInputStream 不接受 BufferedInputStream 作为输入)

示例代码:

OpenJDK 24
OpenJDK 24

OpenJDK 24 Windows x64 官方参考实现(24+36),适合 Windows 环境进行 Java 开发、编译、运行和版本兼容性验证。

下载

InputStream rawStream = new FileInputStream("data.bin");
BufferedInputStream buffered = new BufferedInputStream(rawStream, 32 * 1024); // 自定义 32KB 缓冲区
CodedInputStream coded = CodedInputStream.newInstance(buffered);
MyMessage msg = MyMessage.parseFrom(coded);

注意缓冲区大小与 protobuf 消息边界的关系

BufferedInputStream 的缓冲是透明的、字节连续的,不感知 protobuf 的消息帧结构。它不会“提前读过界”或“截断消息”,只要底层流能完整提供消息字节,protobuf 解析就安全。但需注意:

  • 若用 parseDelimitedFrom()(带长度前缀),缓冲区大小不影响正确性,但太小(如 128B)会导致频繁 refill,抵消缓存收益
  • 若流中包含多个独立 protobuf 消息,且你逐个 parseDelimitedFrom(),BufferedInputStream 会自然复用已缓存字节,无需额外处理
  • 不要试图通过 buffered.mark()/reset() 来“回退解析位置”——protobuf 解析器内部状态和缓冲区位置不同步,极易出错

替代方案:更现代的推荐做法

Java 8+ 中,可考虑用 Files.newInputStream() + BufferedInputStream 组合,或直接使用 NIO 的 FileChannel + ByteBuffer 配合 CodedInputStream.newInstance(ByteBuffer),后者避免了堆内存拷贝,在大文件场景更高效。不过对于常规网络或磁盘读取,BufferedInputStream 仍是简单、可靠、零侵入的选择。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

java 前端 字节 stream protocol

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2463

5

前端如何实现即时通讯
前端如何实现即时通讯

实现即时通讯的方法有WebSocket、Long Polling、Server-Sent Events、WebRTC等等。详细介绍:1、WebSocket,它可以在客户端和服务器之间建立持久连接,实现实时的双向通信,前端可以使用 WebSocket API来创建WebSocket连接,并通过发送和接收消息来实现即时通讯;2、Long Polling,是一种模拟实时通信的技术等等。

2023.10.09

5323

6

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6370

13

php和前端的关联介绍
php和前端的关联介绍

php既可以作为前端语言,也可以作为后端语言。想了解更多php和前端的相关内容,可以阅读本专题下面的文章。

2024.03.22

5958

10

前端外包工作内容有哪些
前端外包工作内容有哪些

前端外包工作内容包括:1. 网站和应用程序开发;2. 用户界面和交互设计;3. 用户体验优化;4. 设计和视觉开发;5. 跨浏览器兼容性;6. 性能优化;7. 维护和更新;8. 项目管理和沟通。想了解更多前端的相关内容,可以阅读本专题下面的文章。

2024.05.22

843

5

java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

10477

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7622

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6652

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1144

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习