二进制流操作:利用 ArrayBuffer 与 TypedArray 处理大文件数据

酷萱吖_7896

酷萱吖_7896

2026-06-24

120人浏览

原创

arraybuffer + typedarray 高效处理大文件的核心是绕过 js 堆内存装箱与 gc,实现底层连续内存的零拷贝访问;需源头获取原生 arraybuffer(如 fetch、file.arraybuffer)、用 subarray 创建视图而非深拷贝、跨线程用 transferable 移交所有权、超大规模数据应预分配并复用视图。

二进制流操作:利用 arraybuffer 与 typedarray 处理大文件数据

直接用 ArrayBuffer + TypedArray 处理大文件二进制流,核心不是“加快数组运算”,而是绕过 JS 堆内存的装箱开销和 GC 压力,让原始字节在底层内存中连续存放、按需映射、零拷贝访问。

从源头获取真正高效的 ArrayBuffer

高效处理的前提是 ArrayBuffer 本身来自底层 I/O,而非 JS 层构造。这类 buffer 天然驻留、只读、可安全切片:

  • 网络请求:用 fetch(url).then(res => res.arrayBuffer()),拿到的就是浏览器内核直接分配的只读 buffer,无需 base64 或文本中转
  • 本地文件:file.arrayBuffer()(现代 API)或 FileReader.readAsArrayBuffer(),返回 buffer 可立即用于 Uint8Array 视图解析
  • Canvas 图像:ctx.getImageData(0, 0, w, h).data 返回 Uint8ClampedArray,底层共享同一块像素内存,灰度/滤镜等批量操作不复制字节

切片即视图:subarray() 是零拷贝的关键操作

不要用 Uint8Array.from(arr) 或传入普通数组构造新实例——这会强制深拷贝整块数据,彻底丢失性能优势。正确做法是复用 buffer,仅创建新视图:

Genesis
Genesis

Genesis是一款面向机器人、具身智能和物理 AI 研究的仿真与数据生成平台。

下载
  • const header = new Uint32Array(buffer, 0, 1)[0] 读取协议头部长度
  • const payload = new Uint8Array(buffer, 4, header) 指向有效载荷区域,不复制字节
  • const chunk = fullView.subarray(offset, offset + size) 动态分段,视图间共享底层 buffer

跨线程传递:用 transferable 移交内存所有权

主线程与 Worker 之间传大文件时,复制成本极高。必须移交 ArrayBuffer 本身,而非 TypedArray 实例:

  • 发送端:worker.postMessage(buffer, [buffer]) —— 第二个参数声明 transfer list,buffer 立即 detach
  • 接收端:const view = new Uint8Array(e.data),直接使用,无拷贝、无延迟
  • 注意:view.buffer.byteLength 为 0 表示已 detached,需提前检查;只能 transfer ArrayBuffer,不能 transfer TypedArray

超大规模数据:预分配 + 视图复用防抖动

反复 new ArrayBuffer(几 GB) 容易触发 V8 内存抖动甚至 OOM。对点云、视频帧等场景,应一次性预分配大块内存:

  • 初始化:const ab = new ArrayBuffer(4 * 1024 * 1024 * 1024)(4GB),比多次小块分配更稳定
  • 每次解析新数据段:new Float32Array(ab, start, count) 创建对应视图,无需重新分配
  • 注意字节对齐:例如 Float32Array 要求 offset 是 4 的倍数,否则可能抛错或性能下降

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2203

5

前端如何实现即时通讯
前端如何实现即时通讯

实现即时通讯的方法有WebSocket、Long Polling、Server-Sent Events、WebRTC等等。详细介绍:1、WebSocket,它可以在客户端和服务器之间建立持久连接,实现实时的双向通信,前端可以使用 WebSocket API来创建WebSocket连接,并通过发送和接收消息来实现即时通讯;2、Long Polling,是一种模拟实时通信的技术等等。

2023.10.09

4703

6

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

5850

13

php和前端的关联介绍
php和前端的关联介绍

php既可以作为前端语言,也可以作为后端语言。想了解更多php和前端的相关内容,可以阅读本专题下面的文章。

2024.03.22

5298

10

前端外包工作内容有哪些
前端外包工作内容有哪些

前端外包工作内容包括:1. 网站和应用程序开发;2. 用户界面和交互设计;3. 用户体验优化;4. 设计和视觉开发;5. 跨浏览器兼容性;6. 性能优化;7. 维护和更新;8. 项目管理和沟通。想了解更多前端的相关内容,可以阅读本专题下面的文章。

2024.05.22

743

5

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

2026.09.30

0

10

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

2026.09.30

0

14

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

2026.09.30

0

12

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

2026.09.30

0

26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习