Node.js_node.js의 Stream API 사용에 대한 간략한 분석

이 글에서는 node.js 스트림 API를 더 얕은 것부터 더 깊은 것까지 소개합니다. 자세한 내용은 아래를 참조하세요.

기본 소개

Node.js에는 파일을 읽는 방법이 두 가지가 있습니다. 하나는 fs.readFile을 사용하는 것이고, 다른 하나는 fs.createReadStream을 사용하여 읽는 것입니다.

fs.readFile은 모든 Node.js 사용자에게 가장 친숙하며 이해하기 쉽고 사용하기 쉽습니다. 그러나 단점은 모든 데이터가 먼저 메모리로 읽혀진다는 것입니다. 일단 큰 파일이 발견되면 이 방법으로 읽는 효율성은 매우 낮습니다.

그리고 fs.createReadStream은 Stream을 통해 데이터를 읽습니다. 파일(데이터)을 작은 조각으로 나눈 다음 이러한 이벤트를 수신하고 특정 처리 기능을 작성할 수 있습니다. 이 방법은 위에 비해 사용하기 쉽지는 않지만 매우 효율적입니다.

실제로 Stream은 Node.js의 파일 처리에만 사용되는 것이 아니라 process.stdin/stdout, http, tcp 소켓, zlib, crypto 등과 같은 다른 위치에서도 볼 수 있습니다.

이 글은 Node.js의 Stream API에 대해 제가 배운 내용을 요약한 것입니다. 모든 사람에게 도움이 되기를 바랍니다.

특징

이벤트 기반 소통

파이프를 통해 스트림을 연결할 수 있습니다

유형

읽기 가능한 스트림 읽기 가능한 데이터 스트림

쓰기 가능한 스트림 쓰기 가능한 데이터 스트림

Duplex Stream은 동시에 읽고 쓸 수 있는 양방향 데이터 스트림입니다

Transform Stream은 읽고 쓸 수 있고 데이터를 변환(처리)할 수도 있는 데이터 스트림을 변환합니다

이벤트

읽을 수 있는 데이터 스트림을 위한 이벤트

데이터가 유출될 때 읽기 가능한 트리거

data 명시적으로 일시 중지되지 않은 데이터 스트림의 경우 데이터 이벤트 수신 기능을 추가하면 데이터 스트림을 동적 스트림으로 전환하고 가능한 한 빨리 데이터를 외부에 제공합니다.

end는 데이터를 읽을 때 트리거됩니다. writeableStream.end()와 혼동할 수 없습니다. writeableStream에는 종료 이벤트가 없으며 .end() 메서드만 있습니다

데이터 소스가 닫힐 때 닫기가 트리거됩니다

데이터를 읽는 중 오류가 발생하면 오류 발생

쓰기 가능한 데이터 스트림 이벤트

drain writable.write(chunk)는 false를 반환합니다. 모든 캐시가 작성된 후 다시 쓸 수 있을 때 트리거됩니다

finish가 .end 메소드를 호출하면 모든 캐시된 데이터가 해제된 후에 트리거됩니다. 이는 읽기 가능한 데이터 스트림의 end 이벤트와 유사하게 쓰기 프로세스의 종료를 나타냅니다.

파이프가 파이프 대상으로 사용될 때 트리거됩니다

unpipe unpipe가 대상일 때 트리거됨

데이터 쓰기 중 오류가 발생하면 오류 발생

현황

읽기 가능한 데이터 스트림에는 스트림 동적 상태와 일시 중지 상태의 두 가지 상태가 있습니다. 데이터 스트림 상태를 변경하는 방법은 다음과 같습니다.

일시중지 상태 -> 스트리밍 상태

데이터 이벤트 청취 기능 추가

통화 재개 방법

파이프 메소드 호출

참고: 스트리밍 다이내믹으로 변환할 때 데이터 이벤트에 대한 청취 기능이 없고 파이프 방식에 대한 대상이 없으면 데이터가 손실됩니다.

스트리밍 상태 -> 일시중지 상태

파이프 메소드의 대상이 존재하지 않는 경우 일시정지 메소드를 호출합니다

파이프 메소드 대상이 있는 경우 모든 데이터 이벤트 수신 함수를 제거하고 unpipe 메소드를 호출하여 모든 파이프 메소드 대상을 제거합니다

참고: 데이터 이벤트의 수신 기능을 제거한다고 해서 데이터 흐름이 자동으로 "일시 중지 상태"로 전환되는 것은 아닙니다. 또한 파이프 메소드의 대상이 있을 때 일시 중지 메소드를 호출한다고 해서 데이터 흐름이 항상 일시 중지되는 것은 아닙니다. 해당 대상이 데이터 요청을 발행하면 데이터 흐름이 계속해서 데이터를 제공할 수 있습니다.

사용방법

파일 읽기 및 쓰기

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态，流进可写数据流中
rs.pipe(ws);
读取 CSV 文件，并上传数据（我在生产环境中写过）
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

더 많은 사용법

https://github.com/jeresig/node-stream-playground를 참고하시면 됩니다. 샘플 사이트에 접속하신 후 add stream을 클릭하시면 바로 결과를 보실 수 있습니다.

일반적인 함정

rs.pipe(ws)를 사용하여 파일을 작성하면 rs의 내용이 ws 뒤에 추가되지 않고 ws의 원래 내용을 rs의 내용으로 직접 덮어씁니다.

종료/폐쇄된 스트림은 재사용할 수 없으며 데이터 스트림을 다시 생성해야 합니다

파이프 메소드는 대상 데이터 스트림을 반환합니다. 예를 들어 a.pipe(b)는 b를 반환하므로 이벤트를 수신할 때 모니터링하는 객체가 올바른지 주의하세요

여러 데이터 스트림을 모니터링하고 파이프 방법을 사용하여 데이터 스트림을 직렬로 연결하려면 다음과 같이 작성해야 합니다.

데이터

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

자주 사용되는 클래스 라이브러리

이벤트 스트림을 사용하면 마치 함수형 프로그래밍 같은 느낌이 나는데 개인적으로 마음에 듭니다

awesome-nodejs#streams 저는 다른 스트림 라이브러리를 사용해본 적이 없으니 필요하시면 여기를 보세요

위 내용은 편집자가 소개한 Node.js의 Stream API 사용법입니다.