Nodejs 연구 노트 Stream module_node.js

1, 오프닝 분석

Stream은 Node.js의 많은 객체로 구현되는 추상 인터페이스입니다. 예를 들어, HTTP 서버에 대한 요청은 스트림이고 stdout도 스트림입니다. 스트림은 읽기, 쓰기 또는 둘 다 가능합니다.

Stream에 대한 최초의 노출은 Unix 초기에 시작되었습니다. 수십 년간의 연습을 통해 Stream 아이디어가 일부 거대한 시스템을 쉽게 개발할 수 있다는 것이 입증되었습니다.

Unix에서는 "|"를 통해 Stream을 구현합니다. 노드에는 내장된 스트림 모듈로 많은 핵심 모듈과 타사 모듈이 사용됩니다.

Unix와 마찬가지로 노드 스트림의 주요 작업도 .pipe()입니다. 사용자는 압력 방지 메커니즘을 사용하여 읽기와 쓰기의 균형을 제어할 수 있습니다.

Stream은 추상 Stream 인터페이스를 통해 스트림 간의 읽기 및 쓰기 균형을 재사용하고 제어할 수 있는 통합 인터페이스를 개발자에게 제공할 수 있습니다.

TCP 연결은 읽기 가능한 스트림이자 쓰기 가능한 스트림이지만, HTTP 연결은 읽기 가능한 스트림이고 http 응답 개체는 쓰기 가능한 스트림입니다.

스트림 전송 과정은 별도의 인코딩 방식을 설정하지 않는 이상 기본적으로 버퍼 형태로 전송됩니다.

코드 복사 코드는 다음과 같습니다.

var http = require('http') ;
var 서버 = http.createServer(function(req,res){
res.writeHeader(200, {'Content-Type': 'text/plain'}) ;
res.end("안녕하세요 빅베어!") ;
}) ;
server.listen(8888) ;
console.log("포트 8888에서 실행 중인 http 서버...") ;

실행 후 잘못된 문자가 나타납니다. 그 이유는 "utf-8"과 같이 지정된 문자 집합이 설정되지 않았기 때문입니다.

수정하세요:

코드 복사 코드는 다음과 같습니다.

var http = require('http') ;
var 서버 = http.createServer(function(req,res){
res.writeHeader(200,{
         'Content-Type' : 'text/plain;charset=utf-8' // charset=utf-8 추가
}) ;
res.end("안녕하세요 빅베어!") ;
}) ;
server.listen(8888) ;
console.log("포트 8888에서 실행되는 http 서버 ...") ;

실행 결과:

스트림을 사용하는 이유
노드의 I/O는 비동기식이므로 디스크와 네트워크에 읽고 쓰려면 데이터를 읽기 위한 콜백 함수가 필요합니다
. 위 코드:

코드 복사 코드는 다음과 같습니다.

var http = require('http') ;
var fs = require('fs') ;
var 서버 = http.createServer(function (req, res) {
fs.readFile(__dirname '/data.txt', 함수(err, 데이터) {
           res.end(data);
}) ;
}) ;
server.listen(8888) ;

코드는 필요한 기능을 달성할 수 있지만 서비스는 파일 데이터를 보내기 전에 전체 파일 데이터를 메모리에 캐시해야 합니다.
크기가 크고 동시성 양이 많으면 많은 메모리가 낭비됩니다. 사용자는 파일 데이터를 수락하기 전에 전체 파일이 메모리에 캐시될 때까지 기다려야 하기 때문에
사용자 경험은 상당히 나쁩니다. 다행히 두 매개변수(req, res) 모두 Stream이므로 fs.readFile() 대신 fs.createReadStream()을 사용할 수 있습니다. 다음과 같습니다:

코드 복사 코드는 다음과 같습니다.

var http = require('http') ;
var fs = require('fs') ;
var 서버 = http.createServer(function (req, res) {
var stream = fs.createReadStream(__dirname '/data.txt') ;
Stream.pipe(res) ;
}) ;
server.listen(8888) ;

.pipe() 메서드는 fs.createReadStream()의 'data' 및 'end' 이벤트를 수신하므로 "data.txt" 파일 전체를 캐시할 필요가 없습니다.
파일을 사용하면 클라이언트 연결이 완료된 후 즉시 데이터 블록을 클라이언트로 보낼 수 있습니다. .pipe() 사용의 또 다른 이점은 클라이언트
매우 긴 종단 간 대기 시간으로 인해 발생하는 읽기-쓰기 불균형 문제입니다.

5가지 기본 스트림(읽기 가능, 쓰기 가능, 변환, 이중 및 "클래식")이 있습니다. (구체적인 사용법은 API를 확인해주세요)

2. 사례 소개

처리해야 하는 데이터를 한 번에 메모리에 로드할 수 없거나 동시에 읽고 처리하는 것이 더 효율적인 경우 데이터 스트림을 사용해야 합니다. NodeJS는 다양한 스트림을 통해 데이터 스트림에 대한 작업을 제공합니다.

대용량 파일 복사 프로그램을 예로 들면, 데이터 소스에 대한 읽기 전용 데이터 스트림을 생성할 수 있습니다.

코드 복사 코드는 다음과 같습니다.

var rs = fs.createReadStream(경로명);
rs.on('데이터', 함수(청크) {
doSomething(chunk); // 세부사항을 자유롭게 다루세요
});
rs.on('end', function () {
       cleanUp() ;
}) ;

코드의 데이터 이벤트는 doSomething 함수가 처리할 수 있는지 여부에 관계없이 지속적으로 트리거됩니다. 이 문제를 해결하기 위해 코드를 다음과 같이 계속 수정할 수 있습니다.

코드 복사 코드는 다음과 같습니다.

var rs = fs.createReadStream(src) ;
rs.on('데이터', 함수(청크) {
​ rs.pause() ;
doSomething(청크, 함수 () {
          rs.resume() ;
}) ;
}) ;
rs.on('end', function () {
       cleanUp();
}) ;

doSomething 함수에 콜백이 추가되어 데이터를 처리하기 전에 데이터 읽기를 일시 중지하고 데이터 처리 후에 데이터를 계속 읽을 수 있습니다.

또한 다음과 같이 데이터 대상에 대한 쓰기 전용 데이터 스트림을 생성할 수도 있습니다.

코드 복사 코드는 다음과 같습니다.

var rs = fs.createReadStream(src) ;
var ws = fs.createWriteStream(dst) ;
rs.on('데이터', 함수(청크) {
            ws.write(청크);
}) ;
rs.on('end', function () {
          ws.end();
}) ;

doSomething이 쓰기 전용 데이터 스트림에 데이터를 쓰는 것으로 대체된 후 위 코드는 파일 복사 프로그램처럼 보입니다. 그러나 위 코드에는 위에서 언급한 문제가 있습니다. 쓰기 속도가 읽기 속도를 따라잡지 못하면 쓰기 전용 데이터 스트림 내부의 캐시가 버스트됩니다. .write 메서드의 반환 값을 사용하여 들어오는 데이터가 대상에 기록되는지 아니면 일시적으로 캐시에 저장되는지 확인할 수 있으며, 배수 이벤트를 기반으로 쓰기 전용 데이터 스트림이 데이터를 쓴 시기를 확인할 수 있습니다. 캐시에서 대상에 기록될 다음 데이터가 전달될 수 있습니다. 따라서 코드는 다음과 같습니다.

코드 복사 코드는 다음과 같습니다.

var rs = fs.createReadStream(src) ;
var ws = fs.createWriteStream(dst) ;
rs.on('데이터', 함수(청크) {
If (ws.write(chunk) === false) {
          rs.pause() ;
}
}) ;
rs.on('end', function () {
          ws.end();
});
ws.on('drain', function () {
​ rs.resume();
}) ;

마침내 읽기 전용 데이터 흐름에서 쓰기 전용 데이터 흐름으로의 데이터 전송을 실현하고 방폭형 창고 제어를 포함했습니다. 위의 대용량 파일 복사 프로그램 등 이에 대한 사용 시나리오가 많기 때문에 NodeJS는 이를 수행하기 위해 .pipe 메서드를 직접 제공하고 내부 구현은 위의 코드와 유사합니다.

다음은 보다 완전한 파일 복사 프로세스입니다.

코드 복사 코드는 다음과 같습니다.

var fs = require('fs'),
  경로 = require('경로'),
  출력 = process.stdout;
var filePath = '/bb/bigbear.mkv';
var readStream = fs.createReadStream(filePath);
var writeStream = fs.createWriteStream('file.mkv');
var stat = fs.statSync(filePath);
var totalSize = stat.size;
var passLength = 0;
var lastSize = 0;
var startTime = Date.now();
readStream.on('데이터', function(chunk) {
  전달된 길이 = 덩어리.길이;
  if (writeStream.write(chunk) === false) {
    readStream.pause();
  }
});
readStream.on('end', function() {
  writeStream.end();
});
writeStream.on('drain', function() {
  readStream.resume();
});
setTimeout(함수 표시() {
  var 백분율 = Math.ceil((passedLength / totalSize) * 100);
  var size = Math.ceil(passedLength / 1000000);
  var diff = 크기 - lastSize;
  lastSize = 크기;
  out.clearLine();
  out.cursorTo(0);
  out.write('已完成' 크기 'MB, '퍼센트'%, 속도：' diff * 2 'MB/s');
  if (passedLength     setTimeout(show, 500);
  } 그 밖의 {
    var endTime = Date.now();
    console.log();
    console.log('共用时：' (endTime - startTime) / 1000 '秒。');
  }
}, 500);

可以把上面的代码保存为 "copy.js" 试验一下我们添加了一个递归的 setTimeout （或者直接使用setInterval）来做一个旁观者，

500ms의 시간이 단축되어 속도가 빨라지고, 규모가 작아지고 분산되고 분산되어 성능이 향상되어 성능이 향상됩니다.

삼,总结一下

(1)，理解Stream概念。

(2),熟练使사용상关Stream용 API

(3) 注意细节的把控，比如：大文件的拷贝，采用 使用 "청크 데이터" 모양의 式进行分处理.

(4)，파이프 사용

(5) 再次强调一个概念：一个TCP连接既是可读流，又是可写流，而Http连接则不同，一个http request对象是可读流，而http response对象则是可写流。