Node.js의 스트림 이해
- 青灯夜游앞으로
- 2020-11-19 17:48:583012검색
관련 권장 사항: "nodejs 튜토리얼"
백엔드 경험이 있는 대부분의 학생들에게 Stream 개체는 합리적이고 일반적인 개체이지만 프런트엔드 학생들에게는 Stream이 그렇게 당연하게 여겨지지 않습니다. Stream이 무엇인지 소개하는 별이 9,000개가 넘는 기사가 있습니다. - stream-handbook (https://link.zhihu.com/?target=https%3A//github.com/substack/stream-handbook) ). Stream에 대한 이해를 돕기 위해 이 글을 바탕으로 간략하게 요약해 보겠습니다.
Stream이란 무엇입니까
Stream은 Unix 시스템에서 매우 일반적이고 중요한 개념입니다. 용어로 보면 스트림은 입력 및 출력 장치를 추상화한 것입니다.
ls | grep *.js
스크립트를 작성할 때 이런 코드를 자주 접하게 됩니다. | | 连接两条命令，把前一个命令的结果作为后一个命令的参数传入，这样数据像是水流在管道中传递，每个命令类似一个处理器，对数据做一些加工，因此 | 被称为 “管道符号”。
NodeJS 中 Stream 的几种类型
从程序角度而言流是有方向的数据，按照流动方向可以分为三种流
设备流向程序：readable
程序流向设备：writable
双向：duplex、transform
NodeJS 关于流的操作被封装到了 Stream 模块，这个模块也被多个核心模块所引用。按照 Unix 的哲学：一切皆文件，在 NodeJS 中对文件的处理多数使用流来完成
普通文件
设备文件（stdin、stdout）
网络文件（http、net）
有一个很容易忽略的知识点：在 NodeJS 中所有的 Stream 都是 EventEmitter 的实例。
小例子
我们写程序忽然需要读取某个配置文件 config.json，这时候简单分析一下
- 数据：config.json 的内容
- 方向：设备（物理磁盘文件） -> NodeJS 程序
我们应该使用 readable 流来做此事
const fs = require('fs');
const FILEPATH = '...';
const rs = fs.createReadStream(FILEPATH);
通过 fs 模块提供的 createReadStream() 方法我们轻松的创建了一个可读的流，这时候 config.json 的内容从设备流向程序。我们并没有直接使用 Stream 模块，因为 fs 内部已经引用了 Stream 模块，并做了封装。
有了数据后我们需要处理，比如需要写到某个路径 DEST ，这时候我们遍需要一个 writable 的流，让数据从程序流向设备。
const ws = fs.createWriteStream(DEST);
两种流都有了，也就是两个数据加工器，那么我们如何通过类似 Unix 的管道符号 | 来链接流呢？在 NodeJS 中管道符号就是 pipe()를 사용하여 두 명령을 연결하고 이전 명령의 결과를 다음 명령의 매개 변수로 전달하므로 데이터는 물과 같습니다. 파이프를 통해 흐르며 각 명령은 데이터에 대해 일부 처리를 수행하는 프로세서와 같으므로
NodeJS의 여러 유형의 스트림프로그램 관점에서 스트림은
방향 데이터이며, 이는 세 가지 유형으로 나눌 수 있습니다. 흐름
- NodeJS Stream 정보 작업은 여러 핵심 모듈에서도 참조되는 Stream 모듈로 캡슐화됩니다. Unix 철학에 따르면 모든 것은 파일이며 NodeJS에서 대부분의 파일 처리는 스트림
电影文件需要读完之后才能返回给客户，等待时间超长
电影文件需要一次放入内存中，相似动作多了，内存吃不消
프로그램에 대한 장치 흐름: 읽기 가능
장치에 대한 프로그램 흐름: 쓰기 가능
- 양방향: 이중, 변환
-
일반 파일
장치 파일(stdin, stdout)을 사용하여 수행됩니다. )
네트워크 파일(http, net)🎜🎜🎜🎜간과하기 쉬운 지식 포인트가 있습니다. NodeJS의 모든 스트림은 EventEmitter의 인스턴스입니다. 🎜
Small example🎜🎜프로그램을 작성할 때 갑자기 특정 구성 파일인 🎜config.json을 읽어야 하는 경우가 있습니다. 이때 🎜의 내용을 간략하게 분석하겠습니다. 🎜🎜data: config.json🎜 🎜Direction: Device(물리적 디스크 파일) -> NodeJS 프로그램🎜🎜🎜이를 위해서는 읽을 수 있는 스트림을 사용해야 합니다🎜const fs = require('fs');
const FILEPATH = '...';
const rs = fs.createReadStream(FILEPATH);
const ws = fs.createWriteStream(DEST);
rs.pipe(ws);🎜createReadStream() fs 모듈에서 제공하는 메서드 🎜config.json의 내용이 장치에서 프로그램으로 흐를 때 읽을 수 있는 스트림입니다. fs가 이미 Stream 모듈을 내부적으로 참조하고 캡슐화했기 때문에 Stream 모듈을 직접 사용하지 않았습니다. 🎜🎜데이터를 확보한 후에는 이를 처리해야 합니다. 예를 들어 특정 경로 DEST에 데이터를 써야 합니다. 이때 데이터가 프로그램에서 장치로 흐르도록 하려면 쓰기 가능한 스트림이 필요합니다. 🎜<pre class="brush:php;toolbar:false">const fs = require('fs');
const rs = fs.createReadStream('./package.json');
const ws = fs.createWriteStream('./package-lower.json');
rs.pipe(lower).pipe(ws);</pre>🎜 스트림이 2개, 즉 데이터 프로세서가 2개인데, 유닉스 계열 파이프 기호 <code>|를 통해 스트림을 어떻게 연결하나요? NodeJS의 파이프 기호는 pipe() 메서드입니다. 🎜rs.pipe(lower).pipe(acsii).pipe(ws);
🎜이런 방식으로 스트림을 사용하여 간단한 파일 복사 기능을 구현합니다. 파이프() 메서드의 구현 원리는 나중에 언급하겠지만 주목할 만한 한 가지가 있습니다. 데이터는 업스트림에서 파이프로 연결되어야 합니다. 즉, 읽기 가능한 스트림 파이프에서 쓰기 가능한 스트림으로의 다운스트림입니다. 🎜🎜데이터 처리🎜🎜위에 언급된 읽기 및 쓰기 가능한 스트림을 프로세서라고 부르는데, 이는 실제로는 적절하지 않습니다. 왜냐하면 우리는 아무 것도 처리하지 않고 단지 데이터를 읽은 다음 데이터를 저장하기 때문입니다. 🎜🎜필요한 경우 로컬 🎜package.json🎜 파일의 모든 문자를 소문자로 변경하고 동일한 디렉터리의 package-lower.json 파일에 저장하세요. 🎜🎜이때 양방향 스트림을 사용해야 합니다. 문자를 소문자로 변환하는 데 특화된 스트림 Lower가 있다고 가정하면 코드는 아마도 이렇게 작성될 것입니다🎜const http = require('http');
const fs = require('fs');
http.createServer((req, res) => {
fs.readFile(moviePath, (err, data) => {
res.end(data);
});
}).listen(8080);🎜이제 왜 그런지 알 수 있습니다. 호출된 파이프() 연결 스트림은 위에서 설명한 내용에 따라 읽기 가능한 스트림에서 쓰기 가능한 스트림으로 파이프되어야 합니다. 🎜🎜🎜rs -> lower는 다운스트림이므로 lower는 쓰기 가능한 스트림 🎜🎜lower -> ws:relative 일반적으로 말해서, lower는 읽기 가능한 스트림이어야 합니다🎜🎜🎜우리의 요구를 충족할 수 있는 lower는 양방향 스트림이어야 합니다. 이중 또는 변환의 구체적인 사용에 대해서는 나중에 언급하겠습니다. 🎜🎜물론 ASCII 코드로 변환해야 하는 문자와 같은 추가 처리 작업이 있는 경우 ASCII 스트림이 있다고 가정하면 코드는 🎜const http = require('http');
const fs = require('fs');
http.createServer((req, res) => {
fs.createReadStream(moviePath).pipe(res);
}).listen(8080);🎜일 수 있습니다. 마찬가지로 ASCII도 양방향 스트림이어야 합니다. 이 처리의 논리는 매우 명확하므로 명확한 코드 외에 스트림을 사용하면 어떤 이점이 있습니까? 🎜🎜Stream을 사용해야 하는 이유🎜🎜사용자가 온라인으로 비디오를 시청해야 하는 시나리오가 있습니다. HTTP 요청을 통해 영화 콘텐츠를 사용자에게 반환한다고 가정하면 코드는 다음과 같이 작성될 수 있습니다.const http = require('http');
const fs = require('fs');
http.createServer((req, res) => {
fs.readFile(moviePath, (err, data) => {
res.end(data);
});
}).listen(8080);
这样的代码又两个明显的问题
用流可以讲电影文件一点点的放入内存中，然后一点点的返回给客户（利用了 HTTP 协议的 Transfer-Encoding: chunked 分段传输特性），用户体验得到优化，同时对内存的开销明显下降
const http = require('http');
const fs = require('fs');
http.createServer((req, res) => {
fs.createReadStream(moviePath).pipe(res);
}).listen(8080);
除了上述好处，代码优雅了很多，拓展也比较简单。比如需要对视频内容压缩，我们可以引入一个专门做此事的流，这个流不用关心其它部分做了什么，只要是接入管道中就可以了
const http = require('http');
const fs = require('fs');
const oppressor = require(oppressor);
http.createServer((req, res) => {
fs.createReadStream(moviePath)
.pipe(oppressor)
.pipe(res);
}).listen(8080);
可以看出来，使用流后，我们的代码逻辑变得相对独立，可维护性也会有一定的改善，关于几种流的具体使用方式且听下回分解。
更多编程相关知识，请访问：编程视频课程！！
위 내용은 Node.js의 스트림 이해의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!