淺析Node.js 中 Stream API 的使用_node.js

本文由淺入深跟大家介紹node.js stream api，具體詳情請看下文吧。

基本介紹

在 Node.js 中，讀取檔案的方式有兩種，一種是用 fs.readFile ，另外一種是利用 fs.createReadStream 來讀取。

fs.readFile 對每個 Node.js 用戶來說最熟悉不過了，簡單易懂，很好上手。但它的缺點是會先將資料全部讀入內存，一旦遇到大檔案的時候，這種方式讀取的效率就非常低了。

而 fs.createReadStream 則是透過 Stream 來讀取數據，它會把檔案（數據）分割成小塊，然後觸發一些特定的事件，我們可以監聽這些事件，編寫特定的處理函數。這種方式相對上面來說，並不好上手，但它效率非常高。

事實上， Stream 在 Node.js 中並非僅僅用在檔案處理上，其他地方也可以看到它的身影，如 process.stdin/stdout , http , tcp sockets , zlib , crypto 等都有用到。

這篇文章是我學習 Node.js 中的 Stream API 中的一點總結，希望對大家有用。

特點

基於事件通訊

可以透過 pipe 來連接流

種類

Readable Stream 可讀資料流

Writeable Stream 可寫資料流

Duplex Stream 雙向資料流，可以同時讀取和寫入

Transform Stream 轉換資料流，可讀可寫，同時可以轉換（處理）資料

事件

可讀資料流的事件

readable 資料向外流時觸發

data 對於那些沒有明確暫停的資料流，加入data事件監聽函數，會將資料流切換到流動態，盡快向外提供資料

end 讀取完資料時觸發。注意不能和 writeableStream.end() 混淆，writeableStream 沒有 end 事件，只有 .end() 方法

close 資料來源關閉時觸發

error 讀取資料發生錯誤時觸發

可寫入資料流的事件

drain writable.write(chunk) 回傳 false 之後，快取全部寫入完成，可以重新寫入時就會觸發

finish 呼叫 .end 方法時，所有快取的資料釋放後觸發，類似於可讀資料流中的 end 事件，表示寫入過程結束

pipe 作為 pipe 目標時觸發

unpipe 作為 unpipe 目標時觸發

error 寫入資料發生錯誤時觸發

狀態

可讀資料流有兩種狀態： 流動態 和 暫停態 ，改變資料流狀態的方法如下：

暫停態 -> 流動態

新增 data 事件的監聽函數

呼叫 resume 方法

呼叫 pipe 方法

注意：如果轉為流動態時，沒有 data 事件的監聽函數，也沒有 pipe 方法的目的地，那麼資料將會遺失。

流動態 -> 暫停態

不存在 pipe 方法的目的地時，呼叫 pause 方法

存在 pipe 方法的目的地時，移除所有 data 事件的監聽函數，並且呼叫 unpipe 方法，移除所有 pipe 方法的目的地

注意：只移除 data 事件的監聽函數，並不會自動引發資料流進入「暫停態」。另外，當有 pipe 方法的目的地時，呼叫 pause 方法，並不能保證資料流總是處於暫停態，一旦那些目的地發出資料請求，資料流有可能會繼續提供資料。

用法

讀寫檔案

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态，流进可写数据流中
rs.pipe(ws);
读取 CSV 文件，并上传数据（我在生产环境中写过）
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

更多用法

可以參考一下 https://github.com/jeresig/node-stream-playground ，進去範例網站之後直接點 add stream 就能看到結果了。

常見坑

用 rs.pipe(ws) 的方式來寫文件並不是把 rs 的內容 append 到 ws 後面，而是直接用 rs 的內容覆蓋 ws 原有的內容

已結束/關閉的串流不能重複使用，必須重新建立資料流

pipe 方法回傳的是目標資料流，如 a.pipe(b) 回傳的是 b，因此監聽事件的時候請注意你監聽的物件是否正確

如果你要監聽多個資料流，同時你又使用了 pipe 方法來串聯資料流的話，你就要寫成：

data

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

常用類別庫

event-stream 用起來有函數式程式設計的感覺，個人比較喜歡

awesome-nodejs#streams 由於其他 stream 庫我都沒用過，所以有需求的就直接看這裡吧

以上內容是小編給大家介紹的Node.js 中 Stream API 的使用，希望大家喜歡。