首頁 > 文章 > web前端 > 深入淺析Node中的Stream（流）

深入淺析Node中的Stream（流）

青灯夜游轉載: 2023-01-29 19:46:302845瀏覽

什麼是流？如何理解流？以下這篇文章就帶大家深入了解Nodejs中的串流（Stream），希望對大家有幫助！

深入淺析Node中的Stream（流）

stream 是一個抽象的資料接口，它繼承了EventEmitter，它能夠發送/接受數據，本質就是讓資料流動起來，如下圖：深入淺析Node中的Stream（流）

流不是Node 中獨有的概念，是作業系統最基本的操作方式，在Linux 中| 是Stream，只是Node 層面對其做了封裝，提供了對應的API

為啥要一點一點？

先用下面的程式碼建立一個文件，大概在400MB 左右【相關教學推薦：nodejs影片教學】

Untitled 1.png

當我們使用readFile 去讀取的時候，如下程式碼

Untitled 2.png

正常啟動服務時，佔用10MB 左右的記憶體

Untitled 3.png

使用curl http://127.0.0.1:8000發起請求時，記憶體變成了420MB 左右，和我們建立的檔案大小差不多

Untitled 4.png

#改為使用使用stream 的寫法，程式碼如下

Untitled 5.png

再次發起請求時，發現記憶體只佔用了35MB 左右，相較於readFile 大幅減少

Untitled 6.png

如果我們不採用流的模式，等待大檔案載入完成在操作，會有以下的問題：

記憶體暫用過多，導致系統崩潰
CPU 運算速度有限制，且服務於多個程序，大文件加載過大且時間久

總結來說就是，一次性讀取大文件，內存和網路都吃不消

如何才能一點一點？

我們讀取檔案的時候，可以採用讀取完成之後在輸出資料

Untitled 7.png

上述說到stream 繼承了EventEmitter 可以是實現監聽數據。首先將讀取資料改為串流讀取，使用on("data", ()⇒{}) 接收數據，最後透過on("end", ()⇒{} ) 最後的結果

Untitled 8.png

有資料傳遞過來的時候就會觸發data 事件，接收這段資料做處理，最後等待所有的資料全部傳遞完成之後觸發end 事件。

資料的流轉過程

資料從哪裡來—source

資料是從一個地方流向另一個地方，先看看數據的來源。

http 請求，請求介面來的資料
#console 控制台，標準輸入stdin
file 文件，讀取文件內容，例如上面的範例

##連接的管道— pipe

在source 和dest 中有一個連接的管道pipe，基本語法為

source.pipe(dest) ，source 和dest 透過pipe 連接，讓資料從source 流向dest

我們不需要向上面的程式碼那樣手動監聽data/end 事件.

pipe 使用時有嚴格的要求，source 必須是可讀流，dest 必須是可寫流

??? 流動的資料到底是什麼？程式碼中的 chunk 是什麼？

到哪裡去—dest

stream 常見的三種輸出方式

console 控制台，標準輸出stdout
http 請求，介面請求中的response
#file 文件，寫入檔案

流的種類

Untitled 14.png

#可讀流Readable Streams

可讀流是對提供資料的來源(source)的抽象

所有的Readable 都實作了stream.Readable 類別定義的介面

Untitled 15.png

? 讀取檔案流建立

fs.createReadStream 建立一個Readable 物件

Untitled 16.png

## 讀取模式

##可讀流有兩種模式，

流動模式(flowing mode)

和 Untitled 17.png 暫停模式(pause mode)

，這個決定了chunk 資料的流動方式：自動流動和手工流動

在ReadableStream 中有一個_readableState 屬性，在其中有一個flowing 的屬性來判斷流的模式，他有三種狀態值：

ture：表示為流動模式

false：表示為暫停模式

#可以使用熱水器模型來模擬資料的流動。熱水器水箱(buffer 緩存區)儲存著熱水(需要的資料)，當我們打開水龍頭的時候，熱水就會從水箱中不斷流出來，自來水也會不斷的流入水箱，這就是流動模式。當我們關閉水龍頭時，水箱會暫停進水，水龍頭會暫停出水，這就是暫停模式。
資料會自動地從底層讀取，形成流動現象，並透過事件提供給應用程式。

當 data 事件被加入後，可寫流中有資料後會將資料推到該事件回呼函數中，需要自己去消費資料塊，如果不處理則該資料會遺失

呼叫 stream.pipe 方法將資料傳送至Writeable

呼叫stream. resume 方法

暫停模式

資料會堆積在內部緩衝器中，必須明確調用stream.read() 讀取資料塊
監聽readable 事件可寫流在資料準備好後會觸發此事件回調，此時需要在回呼函數中使用 stream.read() 來主動消費資料。 readable 事件顯示流有新的動態：要麼有新的數據，要麼流已經讀取所有資料
兩種模式之間如何進行轉換呢

可讀流在建立完成之後處於初始狀態 //TODO：和網路上的分享不一致

暫停模式切換到流動模式

- 监听 data 事件
- 调用 stream.resume 方法
- 调用 stream.pipe 方法将数据发送到 Writable

Untitled 21.png

流動模式切換到暫停模式

- 移除 data 事件
- 调用 stream.pause 方法
- 调用 stream.unpipe 移除管道目标

Untitled 23.png 實作原理

建立可讀流的時候，需要繼承Readable 對象，並且實作_read 方法

####建立一個自訂可讀流##### ##########當我們呼叫read 方法時，整體的流程如下：###############doRead######流中維護了一個緩存，當呼叫read 方法的時候來判斷是否需要向底層請求資料###
當快取區長度為0或小於highWaterMark 這個值得時候就會呼叫_read 去底層取得資料原始碼連結