Java 中 Scatter 和 Gather 怎么进行分散与聚集读写

夜伟同学_1495

夜伟同学_1495

2026-10-02

597人浏览

原创

scatter/gather 是 java nio 提供的高效 i/o 机制,通过 channel 的 read(bytebuffer[]) 和 write(bytebuffer[]) 方法实现一次系统调用处理多个缓冲区,减少上下文切换与数据拷贝。

java 中 scatter 和 gather 怎么进行分散与聚集读写

Java 中的 Scatter 和 Gather 是 NIO(New I/O)提供的高效 I/O 操作机制,用于在一次系统调用中对多个缓冲区进行读写,避免频繁的上下文切换和数据拷贝。它们通过 Channel 接口的 read(ByteBuffer[]) 和 write(ByteBuffer[]) 方法实现,底层依赖操作系统支持(如 Linux 的 readv/writev)。

Scatter 读:从通道一次性读入多个缓冲区

Scatter 读指将通道中的数据按顺序、依次填满多个 ByteBuffer(即“分散”到多个缓冲区)。数据先填满第一个缓冲区剩余空间,再填第二个,依此类推。适用于解析固定格式报文(如头部+正文)、或需要逻辑分片处理的场景。

使用要点:

  • 缓冲区数组按顺序参与读取,不可跳过中间缓冲区
  • 每个缓冲区需已调用 clear() 或处于可写状态(limit ≥ position)
  • 实际读取字节数为所有缓冲区写入字节之和,返回值是总字节数(可能为 0 或 -1)
  • 若某缓冲区已满(position == limit),后续缓冲区仍可能被写入(只要通道还有数据)

示例:

SocketChannel channel = ...;
ByteBuffer header = ByteBuffer.allocate(8);   // 期望读 8 字节头
ByteBuffer body   = ByteBuffer.allocate(1024); // 后续正文
ByteBuffer[] buffers = { header, body };

int bytesRead = channel.read(buffers); // 一次调用完成分散读
if (bytesRead > 0) {
    header.flip(); body.flip();
    // 解析 header.getShort(), body.array() 等
}

Gather 写:向通道一次性写出多个缓冲区

Gather 写指将多个 ByteBuffer 中的数据按顺序拼接后写入通道(即“聚集”后发出)。常用于组合协议头、负载、校验等不同来源的数据,避免手动合并字节数组或多次 write 调用。

Java Maven Code Review
Java Maven Code Review

审查Java Maven项目(ZIP压缩包或GitLab仓库URL),检查代码规范、命名、模块边界、可维护性问题以及重复代码。

下载

使用要点:

  • 缓冲区数组按索引顺序写出,每个缓冲区需已调用 flip()(position=0, limit=有效数据长度)
  • 写入总字节数 = 所有缓冲区 remaining() 之和(但受通道实际写出能力限制)
  • 返回值是本次成功写出的总字节数,可能小于 sum(remaining),需循环处理
  • 不修改缓冲区内容,只推进其 position(类似单个 write)

示例:

ByteBuffer header = ByteBuffer.allocate(4).putInt(0x01020304).flip();
ByteBuffer payload = StandardCharsets.UTF_8.encode("Hello");
ByteBuffer checksum = ByteBuffer.allocate(2).putShort((short)0xABCD).flip();

ByteBuffer[] buffers = { header, payload, checksum };
int bytesWritten = channel.write(buffers); // 一次 gather 写出

关键注意事项与常见问题

Scatter/Gather 并非总是“原子”——它只是减少系统调用次数,但不保证整个数组一次性全部读完/写完。尤其在网络通道中,受 TCP 缓冲区、对端接收速度等影响,实际读写量往往小于缓冲区总容量。

  • 必须管理好缓冲区状态:读前 clear(),写前 flip();否则可能读不到数据或写出乱码
  • 非阻塞模式下需配合 Selector:当 channel 为非阻塞时,read/write 可能立即返回 0,需等待 OP_READ/OP_WRITE 就绪后再重试
  • 文件通道完全支持,套接字通道依赖底层协议栈:大多数现代 JVM 和 OS 对 SocketChannel 的 scatter/gather 支持良好,但某些嵌入式或旧系统可能退化为逐个 write
  • 不适用于 DirectBuffer 混合使用场景下的内存对齐问题:若部分 buffer 是 direct、部分是 heap,一般无问题;但极端性能场景需注意 native 内存布局

替代方案与适用边界

不是所有场景都需要 Scatter/Gather。简单单缓冲读写更直观易维护;只有在明确存在性能瓶颈(如高频小包、协议分层明显)且 profiling 确认收益时才引入。

  • 替代方式:用 CompositeByteBuf(Netty)或手动 ByteBuffer.wrap(byte[]) 合并再 write
  • 更适合的场景:RPC 框架序列化头尾、HTTP/2 多帧组装、自定义二进制协议解析
  • 慎用场景:缓冲区数量过多(>10)、单个缓冲区极小(

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

java

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

9537

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

6702

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

5932

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1044

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

868

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1236

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2509

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

19851

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1135

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习