Stream Pipeline 中间停止执行的解决方案

陌晨大大_6700

陌晨大大_6700

2026-10-25

250人浏览

原创

Stream Pipeline 中间停止执行的解决方案

Node.js 的 stream/promises.pipeline 在链式异步迭代器中若末尾函数仍 yield 数据但无消费者,会导致背压累积、流挂起,表现为处理中途静默停止(如 200 条仅处理前 30 条)。根本原因在于缺少最终消费端,数据滞留在内部缓冲区。

node.js 的 `stream/promises.pipeline` 在链式异步迭代器中若末尾函数仍 `yield` 数据但无消费者,会导致背压累积、流挂起,表现为处理中途静默停止(如 200 条仅处理前 30 条)。根本原因在于缺少最终消费端,数据滞留在内部缓冲区。

在使用 pipeline 组合多个 async generator function(即 AsyncIterable)时,需严格遵循“生产者–转换器–消费者”语义。pipeline(a, b, c) 内部会将 a 作为源(source),b 作为中间转换流(transform),而 最后一个参数 c 默认被视为目标(destination) —— 它应当消费数据,而非继续产出。

你遇到的问题(200 次迭代仅执行约 30 次后静默终止)正是典型的背压未释放现象:

  • func 生成数字 0~199;
  • func2 接收并原样 yield 转发;
  • func3 同样接收并 yield —— 但此时已无下游接收者,所有 yield 值被暂存在 pipeline 内部缓冲区中;
  • 当缓冲区填满(默认 highWaterMark = 32,实际触发点常在 ~30 左右),上游 for await 循环因 await 内部 next() 调用被阻塞,整个流暂停,且无错误抛出(符合 Node.js 流的背压设计)。

✅ 正确做法是:确保 pipeline 的最后一个函数不 yield,而是完成实际消费逻辑(如写入文件、存入数据库、聚合统计等)。例如:

Pipeworx Fintech Analyst
Pipeworx Fintech Analyst

提供基于SEC文件、CFPB投诉、FDIC数据和市场价格快照的金融科技公司及银行综合财务分析。

下载
import { pipeline } from 'stream/promises';

async function* func() {
  for (let i = 0; i ) {
  for await (const i of iterator) {
    console.log(`func2 ${i}`);
    yield i; // ✅ 中间转换器可 yield
  }
}

// ✅ 最终 destination:只消费,不 yield
async function func3(iterator: AsyncIterable<number>) {
  let count = 0;
  for await (const i of iterator) {
    console.log(`func3 ${i}`);
    count++;
  }
  console.log(`✅ 全部 ${count} 项处理完成`);
}

async function main() {
  await pipeline(func, func2, func3); // 注意:func3 现为普通 async function(非 async*)
}

main().catch(console.error);</number>

⚠️ 关键注意事项:

  • pipeline 的 destination 参数可以是 AsyncIterable(此时需确保其内部不产出数据),但更推荐使用普通 async function 作为终点,语义清晰且不易误用;
  • 若需在终点做异步操作(如 fetch、writeFile),务必 await 它们,避免未处理 Promise 导致流程提前结束;
  • 不要依赖 console.log 判断流是否完成——它可能因缓冲延迟而滞后;应以终点函数的 return 或显式 console.log('done') 为准;
  • 如需调试背压行为,可显式设置 highWaterMark(如 { highWaterMark: 1 } 加速复现问题),或监听 'drain' 事件(仅适用于传统 Writable 流,async generator destination 不直接暴露该事件)。

总结:pipeline 的健壮性高度依赖各阶段的角色一致性。记住口诀——“源产生,中间转换,终点消费;终点一旦 yield,流必卡在半路。”

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

pip stream

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

5206

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1289

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

5144

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

980

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1916

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

3645

4

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

2023.09.12

4773

6

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

2023.09.20

3120

5

java访问控制修饰符介绍
java访问控制修饰符介绍

java访问控制修饰符有四种,分别是public、protected、private、默认访问修饰符。详细介绍:1、public,public是最宽松的访问控制修饰符,被修饰的类、方法和变量可以被任何其他类访问,当一个类、方法或变量被声明为public时,它们可以在任何地方被访问,无论是同一个包中的类还是不同包中的类;2、protected修饰符等等。

2023.09.20

988

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 安装指南
Conan 2 安装指南

共0课时 | 0人学习

Python虚拟环境官方教程
Python虚拟环境官方教程

共0课时 | 0人学习

Python venv官方模块文档
Python venv官方模块文档

共0课时 | 0人学习