Node.js Stream 读取本质:流是数据消耗驱动的主动生产过程

浅磊同学_8233

浅磊同学_8233

2026-07-27

423人浏览

原创

Node.js Stream 读取本质:流是数据消耗驱动的主动生产过程

Node.js 中的 Readable Stream 并非被动“等待被读取”的静态容器,而是一个由下游消费行为触发、按需生产数据的主动流式处理机制;其核心在于“消耗驱动生产”,一旦注册 data 事件监听器即自动进入流动模式并开始推送数据,且不回溯已发出的 chunk。

node.js 中的 readable stream 并非被动“等待被读取”的静态容器,而是一个**由下游消费行为触发、按需生产数据的主动流式处理机制**;其核心在于“消耗驱动生产”,一旦注册 `data` 事件监听器即自动进入流动模式并开始推送数据,且不回溯已发出的 chunk。

在 Node.js 中,stream.Readable 的设计哲学是 “消费驱动生产”(Consumer-Driven Production) —— 流本身不主动预加载或缓存全部数据,而是根据下游是否“准备就绪”来决定是否拉取、生成并推送下一个数据块。这一机制从根本上回答了“Stream 读取是否为消耗过程”:是的,Readable Stream 的 _read() 调用完全由消费侧触发,整个读取流程本质上就是一个受控的、事件驱动的数据消耗过程。

? 关键原理:两种读取模式与 data 事件的触发逻辑

Node.js Readable 流存在两种底层工作模式:

  • 暂停模式(Paused Mode):默认初始状态。此时即使有数据可读,流也不会自动推送;必须显式调用 .read() 或监听 'data' 事件才能激活。
  • 流动模式(Flowing Mode):只要注册了 'data' 事件监听器,流会立即自动切换至该模式,并持续调用 _read() 方法拉取数据,通过 this.push(chunk) 向内部缓冲区注入数据,再分发给所有 'data' 监听器。

✅ 注意:'data' 事件的注册不是“订阅未来数据”,而是触发流启动生产链路的开关。源码印证(Node.js v20+ readable.js#L1138):addChunkListener() 内部会立即调用 resume(),强制流开始流动。

? 四种场景解析:为什么输出行为截然不同?

让我们结合你提供的四个案例,深入理解“消耗即启动”的本质:

✅ Situation 1:即时监听 → 立即启动完整流

customStream.on('data', ...); // ⚡ 注册即激活流动模式
// _read() 被反复调用,直到 data 数组耗尽,push(null) 结束

→ 输出全部 3 个 chunk,符合预期。

Aria2 Json Rpc
Aria2 Json Rpc

通过 JSON‑RPC 2.0 与 aria2 下载管理器交互,使用自然语言命令管理下载、查询状态并控制任务。适用于 aria2、下载管理或种子操作。

下载

✅ Situation 2:延迟监听 → 仍输出全部(但时机延后)

setTimeout(() => customStream.on('data', ...), 1000);
// 注意:此时流仍处于 Paused 模式,未开始生产
// 1s 后注册 'data' → 触发 resume → _read() 开始执行 → 按序 push 所有剩余数据

→ 仍输出全部 3 个 chunk,只是延迟发生。关键点:流未被消费前,数据不会丢失,也不会提前生成。

⚠️ Situation 3:先监听再延迟重复监听 → 后者无效

customStream.on('data', handler1); // ✅ 激活流,开始生产 & 推送
setTimeout(() => customStream.on('data', handler2), 1000); // ❌ 此时数据早已推完,handler2 不会收到任何 chunk

→ 仅 handler1 收到全部 chunk。handler2 注册时流已 end,无新数据可触发 'data'。

⚠️ Situation 4:多重同步监听 → 每个 chunk 被所有监听器接收

customStream.on('data', h1);
customStream.on('data', h2); // ✅ 同一时刻注册,均参与本次流动

→ 每个 chunk 触发两次回调(h1 和 h2 各一次),且 'end' 事件也被重复触发(因每个监听器独立管理生命周期)。这是 EventEmitter 的标准行为,并非流“重放”,而是事件广播。

? 提示:避免重复绑定相同事件监听器。如需多路消费,推荐使用 .pipe() 链式转发,或通过 stream.clone()(需手动实现)隔离消费路径。

? 实践建议:可控消费的正确姿势

import { Readable } from 'stream';

class MyCustomReadableStream extends Readable {
  constructor(data = []) {
    super({ objectMode: true }); // 若传输字符串/对象,启用 objectMode
    this.data = [...data];
  }

  _read() {
    const chunk = this.data.shift();
    if (chunk !== undefined) {
      this.push(chunk); // ✅ 推送单个 chunk
    } else {
      this.push(null); // ✅ 显式结束信号
    }
  }
}

// ✅ 推荐:使用 pipe 实现声明式、可组合的消费
const stream = new MyCustomReadableStream(['a', 'b', 'c']);
stream.pipe(process.stdout); // 自动处理背压、错误、结束

// ✅ 或手动控制(暂停模式下轮询)
stream.on('readable', () => {
  let chunk;
  while ((chunk = stream.read()) !== null) {
    console.log('Manual read:', chunk);
  }
});
stream.resume(); // 显式启动

? 总结:Stream 是“消耗即生产”的反应式系统

维度 说明
是否消耗过程? ✅ 是。_read() 的调用由消费行为(on('data') / read())直接触发,无消费则无生产。
数据是否可回溯? ❌ 否。已 push() 并分发的 chunk 不会因新监听器加入而重发;流只向前推进。
内存是否安全? ✅ 是。流天然支持背压(backpressure)——当下游处理慢时,.push() 返回 false,流自动暂停 _read(),防止内存溢出。
如何确保可靠消费? 优先使用 .pipe();若手动监听,务必处理 'error' 和 'end' 事件,并避免重复绑定。

理解这一点,你就掌握了 Node.js Stream 的灵魂:它不是管道里的“水”,而是一个按需抽水的智能水泵系统——你打开龙头(注册 listener),它才开始抽;你关掉龙头,它立刻停机。高效、可控、内存友好,这正是 Node.js 处理海量 I/O 的基石。

相关文章

驱动精灵
驱动精灵

驱动精灵基于驱动之家十余年的专业数据积累,驱动支持度高,已经为数亿用户解决了各种电脑驱动问题、系统故障,是目前有效的驱动软件,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

node.js stream js node

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

4466

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1109

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

4384

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

880

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1776

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

3225

4

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

2023.09.12

4193

6

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

2023.09.20

2700

5

java访问控制修饰符介绍
java访问控制修饰符介绍

java访问控制修饰符有四种,分别是public、protected、private、默认访问修饰符。详细介绍:1、public,public是最宽松的访问控制修饰符,被修饰的类、方法和变量可以被任何其他类访问,当一个类、方法或变量被声明为public时,它们可以在任何地方被访问,无论是同一个包中的类还是不同包中的类;2、protected修饰符等等。

2023.09.20

868

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

RabbitMQ 教程手册
RabbitMQ 教程手册

共0课时 | 0人学习

Node.js 教程
Node.js 教程

共57课时 | 25.1万人学习