如何在高频率数据流中实现具备“背压”控制的 ReadableStream

陌婷大大_7401

陌婷大大_7401

2026-04-24

559人浏览

原创

readablestream 的 pull 回调必须检查 controller.desiredsize>0 才 enqueue,否则背压失效;highwatermark 需按处理耗时与吞吐反推;for-await-of 隐式丢弃背压,应显式用 reader 控制节奏;pipeto/pipethrough 中各环节策略须对齐,避免中间断裂。

如何在高频率数据流中实现具备“背压”控制的 readablestream

ReadableStream 的 pull 回调必须检查 controller.desiredSize

不检查 desiredSize 是高频率流中背压失效的最常见原因。很多开发者在 pull 里无条件调用 controller.enqueue(),结果就是数据疯狂堆积进内部缓冲区,直到内存告急。

正确做法是只在 controller.desiredSize > 0 时才推送新 chunk。这个值代表下游还“想要多少字节/项”,它由 reader 消费速度和 highWaterMark 共同决定。

  • desiredSize 为正:可安全入队;为 0 或负:说明缓冲区已满或即将满,应暂停生产
  • 若数据源本身是定时器(如每 10ms 推一个 sensor 值),需用 clearTimeout + 重新 setTimeout 控制节奏,不能只靠 pull 触发
  • 搭配 controller.signal.aborted 判断流是否已被取消,避免在取消后仍尝试 enqueue

highWaterMark 不是越大越好,要匹配消费延迟

highWaterMark 设为 1MB 对大文件下载合理,但对每秒上千条 JSON 日志的实时流,可能意味着数百条消息滞留在内存里——尤其当单条处理耗时波动较大时,极易触发 OOM。

实操建议按“典型单次处理耗时 × 预期最大吞吐”反推:

  • 假设下游 for await...of 处理一条平均需 50ms,目标峰值 20 条/秒 → 缓冲区最多存 1 条(highWaterMark: 1)
  • 若用 pipeThrough(new TransformStream()) 做中间转换,记得它的 writableStrategy 和 readableStrategy 也需同步设小,否则背压在中间断掉
  • Node.js 环境下注意:highWaterMark 单位是字节;浏览器环境对对象流是“项数”,别混用

避免在 for-await-of 中隐式丢弃背压信号

直接写 for await (const chunk of stream) { await process(chunk) } 看似简洁,但一旦 process() 变慢,for-await-of 并不会暂停流的内部 pull 调用——它只是卡住迭代,而流仍在往缓冲区塞数据(尤其当 pull 未检查 desiredSize 时)。

Upload audio to AIOZ Stream
Upload audio to AIOZ Stream

快速上传音频至 AIOZ Stream API。支持默认或自定义编码配置创建音频对象,上传文件并完成处理后返回音频链接。

下载

更可控的方式是显式控制 reader:

  • 用 const reader = stream.getReader() 获取 reader
  • 每次 await reader.read() 后,立刻判断 done,再决定是否发起下一次 read()
  • 若处理逻辑本身是异步的,确保 await 完成后再调用 read(),形成自然节拍
  • 不要在循环体里做 reader.releaseLock(),那会中断流;锁只应在彻底退出时释放

pipeTo() 和 pipeThrough() 的背压链容易在中间断裂

用 source.pipeTo(dest) 时,背压依赖 dest 的 writableStrategy.highWaterMark 和 write() 方法是否返回 Promise。如果目标流的 write() 是同步完成的(比如写入内存 buffer),它永远不会阻塞,上游就收不到背压反馈。

常见断裂点:

  • 自定义 WritableStream 的 write() 没有 await 实际 I/O,导致 desiredSize 始终为正
  • TransformStream 的 transform() 函数里没用 controller.enqueue() 而是直接 return,造成输出流饥饿,上游被“拖慢”而非“压停”
  • 链中任一环节用了 tee() 分流,但只消费其中一支,另一支未读取会持续占用缓冲区且不释放

真正难调试的是多层管道嵌套后的延迟叠加——比如 WebSocketStream → TransformStream → IndexedDB 写入,每一环的 highWaterMark 和处理延迟都得对齐,否则某环先撑爆就全链雪崩。

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

4806

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1189

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

4744

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

940

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1856

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

3425

4

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

2023.09.12

4433

6

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

2023.09.20

2900

5

java访问控制修饰符介绍
java访问控制修饰符介绍

java访问控制修饰符有四种,分别是public、protected、private、默认访问修饰符。详细介绍:1、public,public是最宽松的访问控制修饰符,被修饰的类、方法和变量可以被任何其他类访问,当一个类、方法或变量被声明为public时,它们可以在任何地方被访问,无论是同一个包中的类还是不同包中的类;2、protected修饰符等等。

2023.09.20

928

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
CentOS 官方文档
CentOS 官方文档

共0课时 | 0人学习

极客学院Java8新特性视频教程
极客学院Java8新特性视频教程

共17课时 | 4.3万人学习