JavaScript 怎么处理后端返回的流式大文本进行逐行解析

轻涛大大_4458

轻涛大大_4458

2026-09-12

620人浏览

原创

javascript流式解析大文本需用readablestream+textdecoder+缓冲逻辑,边接收边解码边按换行切分;确保后端支持chunked或sse,fetch后校验response.ok、status及body存在,用getreader()读uint8array块,textdecoder({stream:true})解码并维护buffer处理utf-8截断,split('\n')提取完整行后逐行处理。

javascript 怎么处理后端返回的流式大文本进行逐行解析

JavaScript 处理后端返回的流式大文本并逐行解析,核心是避免加载全部内容到内存,而是边接收、边解码、边按换行符切分。关键在于用 ReadableStream + TextDecoder + 缓冲逻辑,而不是等整个响应结束再 split('\n')。

确认响应支持流式读取

发起请求时确保后端启用分块传输(Transfer-Encoding: chunked)或 Server-Sent Events(SSE),且不关闭连接。前端 fetch 后检查:

  • response.ok 为 true,且 response.status 在 200–299 范围内
  • response.body 不为 null(空响应或重定向可能无 body)
  • 可选:检查 response.headers.get('content-type') 是否含 text/plain、text/event-stream 或 application/json-lines 等适合逐行处理的类型

用 getReader() 逐块读取二进制数据

调用 response.body.getReader() 获取读取器,循环调用 reader.read() 获取 Uint8Array 块:

Alibabacloud Sdk Client Initialization For Java
Alibabacloud Sdk Client Initialization For Java

在 Java 中初始化和管理阿里云 SDK客户端。包括单例模式、线程安全、endpoint 与 region 配置、VPC 终端节点、同步与异步等。

下载
  • 每个 value 是原始字节,不是字符串——不能直接 .split('\n')
  • 单次 read() 返回的块可能在 UTF-8 多字节字符中间截断(如中文“你好”被切成两个 chunk),需缓存未完整字符
  • 当 done === true 时,表示流结束,应退出循环

手动解码 + 行缓冲(关键步骤)

用 new TextDecoder('utf-8', { stream: true }) 解码,并维护一个字符串缓冲区 buffer:

  • 每次解码后,将结果追加到 buffer
  • 用 buffer.split('\n') 提取完整行,但只保留最后一项作为新缓冲(因为末尾可能不完整)
  • 对提取出的每一行调用你的处理函数(如 processLine(line))
  • 示例逻辑:const lines = (buffer + decoded).split('\n'); buffer = lines.pop(); lines.forEach(processLine);

结构化行数据的进一步处理

若每行是独立 JSON(JSON Lines 格式)、日志字段或 CSV 片段,可在拿到完整行后立即解析:

  • JSON Lines:try { const obj = JSON.parse(line); handle(obj); } catch (e) { /* 忽略或记录解析失败行 */ }
  • 日志行(如 Nginx access log):用正则或 line.split(/\s+/) 切分字段
  • 注意:不要在行内做耗时同步操作(如大量 DOM 插入),可用 queueMicrotask 或 setTimeout(..., 0) 分散执行压力

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

javascript java

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2183

5

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

5810

13

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

5106

10

js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

4346

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1089

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

4244

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

860

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1756

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

3145

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

React 教程
React 教程

共58课时 | 12万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 6.6万人学习