流式处理:Readable与Writable流实现

酷杰大大_7528

酷杰大大_7528

2025-11-20

521人浏览

原创

Node.js中Readable和Writable流分别用于数据读取与写入,通过实现_read()和_write()方法控制数据流动,结合pipe()实现高效管道传输。

流式处理:readable与writable流实现

在Node.js中,流式处理是一种高效处理数据的方式,特别适用于大文件或网络请求场景。核心在于Readable和Writable两种基础流类型,它们分别代表可读数据源和可写目标。理解并掌握这两种流的实现方式,能帮助我们更好地控制数据流动,提升性能与内存使用效率。

Readable流:按需提供数据

Readable流用于产生数据,可以是文件读取、HTTP响应等来源。它支持两种模式:流动模式(flowing)和暂停模式(paused)。通过实现_read()方法来定义如何获取数据。

关键点:

  • _read() 方法不直接返回数据,而是调用 this.push(chunk) 将数据推入内部缓冲区
  • 当 push(null) 被调用时,表示数据源已结束
  • 每次 push 后,系统可能自动再次触发 _read,无需手动循环

示例:创建一个生成递增数字的可读流

const { Readable } = require('stream');
class Counter extends Readable {
  constructor(max) {
    super();
    this.max = max;
    this.current = 0;
  }

  _read() {
    if (this.current >= this.max) {
      this.push(null); // 结束流
    } else {
      this.current++;
      this.push(this.current + ''); // 推送字符串数据
    }
  }
}

Writable流:接收并处理数据

Writable流用于消费数据,比如写入文件、发送网络请求。开发者需要实现_write()方法来定义如何处理传入的数据块。

注意要点:

Expanso json-flatten
Expanso json-flatten

通过 CLI 或 MCP 服务器,使用 Expanso Edge 管道扁平化嵌套 JSON 对象。

下载
  • _write(chunk, encoding, callback) 中 chunk 是数据块,callback 必须被调用以通知处理完成
  • 若处理出错,可传入错误对象给 callback(err)
  • 流会在所有写入完成后自动触发 'finish' 事件

例子:构建一个将数据打印到控制台的可写流

const { Writable } = require('stream');
class Logger extends Writable {
  _write(chunk, encoding, callback) {
    console.log('收到:', chunk.toString());
    callback(); // 标记本次写入完成
  }
}

连接流实现数据管道

Readable和Writable流可通过 pipe() 方法连接,形成高效的数据传输链路。这种方式避免了中间缓存过大,实现背压(backpressure)自动管理。

典型用法:

  • source.pipe(destination) 自动监听 data 和 end 事件
  • 可叠加多个中间流进行转换(如压缩、加密)
  • 出错时建议监听 error 事件防止崩溃

运行上面的例子:

const counter = new Counter(5);
const logger = new Logger();
counter.pipe(logger);
// 输出: 收到: 1 → 收到: 2 → ... → 收到: 5

基本上就这些。掌握 Readable 和 Writable 流的核心机制,就能灵活构建高效的流式处理逻辑。关键是理解 _read 和 _write 的触发时机以及正确使用 push 和 callback。不复杂但容易忽略细节。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

js node.js node stream

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1698

6

require的用法
require的用法

require的用法有引入模块、导入类或方法、执行特定任务。想了解更多require的相关内容,可以阅读本专题下面的文章。

2023.11.27

1975

6

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

1049

5

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.25

3300

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2378

7

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1858

5

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

3004

5

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

2023.10.24

6284

49

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 21.3万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 4.9万人学习