搜尋
首頁web前端js教程NodeJS中Buffer模組詳解_node.js

一,開頭分析

所謂緩衝區Buffer,就是 "臨時存貯區" 的意思,是暫時存放輸入輸出資料的一段記憶體。

JS語言本身只有字串資料類型,沒有二進位資料類型,因此NodeJS提供了一個與String對等的全域建構子Buffer來提供對二進位資料的運算。除了可以讀取檔案得到Buffer的實例外,還能夠直接構造,例如:

複製程式碼 程式碼如下:

 var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;

Buffer與字串類似,除了可以用.length屬性得到位元組長度外,還可以用[index]方式讀取指定位置的位元組,例如:

複製程式碼 程式碼如下:

buffer[0] ; // 0x68;

Buffer與字串能夠互相轉化,例如可以使用指定編碼將二進位資料轉化為字串:

複製程式碼 程式碼如下:

var str = buffer.toString("utf-8");  // hello

將字串轉換為指定編碼下的二進位資料:

複製程式碼 程式碼如下:

var buffer= new Buffer("hello", "utf-8") ; //

一點兒區別:

Buffer與字串有一個重要差異。字串是唯讀的,並且對字串的任何修改得到的都是一個新字串,原始字串保持不變。

至於Buffer,更像是可以做指標操作的C語言陣列。例如,可以用[index]方式直接修改某個位置的位元組。

----------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- --------------------------------

slice方法也不是傳回一個新的Buffer,而更像是傳回了指向原Buffer中間的某個位置的指針,如下所示。

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]
    ^           ^
    |           |
   bin     bin.slice(2)
因此slice方法回傳的Buffer的修改會作用於原Buffer,例如:

複製程式碼 程式碼如下:

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var sub = bin.slice(2) ;
 sub[0] = 0x65 ;
 console.log(buffer) ; // 

如果想要拷貝一份Buffer,得先建立一個新的Buffer,並透過.copy方法把原Buffer中的資料複製過去。

這個類似於申請一塊新的內存,並把已有內存中的資料複製過去。以下是一個例子。

複製程式碼 程式碼如下:

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var dup = new Buffer(bin.length) ;
 buffer.copy(dup) ;
 dup[0] = 0x48 ;
 console.log(buffer) ;  //
 console.log(dup) ;  //

總之,Buffer將JS的資料處理能力從字串擴展到了任意二進位資料。

以上簡單讓大家了解什麼是Buffer,以下具體說如何使用和具體使用場景。

二,聊聊Buffer

JavaScript對字串處理十分友好,無論是寬位元組還是單字節字串,都被認為是一個字串。 Node需要處理網路協定、操作資料庫、處理圖片、檔案上傳等,還需要處理大量二進位數據,自帶的字串遠遠不能滿足這些要求,因此Buffer應運而生。

Buffer結構

Buffer是一個典型的Javascript和C 結合的模組,性能相關部分用C 實現,非性能相關部分用javascript實現。

Node在進程啟動時Buffer就已經加裝進入內存,並將其放入全域對象,因此無需require

Buffer物件:類似數組,其元素是16進制的兩位數。

Buffer記憶體分配

Buffer物件的記憶體分配不是在V8的堆記憶體中,在Node的C 層級實現記憶體的申請。

為了高效的使用申請來得內存,Node中採用slab分配機制,slab是一種動態內存管理機制,應用各種*nix作業系統。 slab有三種狀態:

(1) full:完全分配狀態

(2) partial:部分分配狀態

(3) empty:沒有被分配狀態

Buffer的轉換
 
Buffer物件可以和字串相互轉換,支援的編碼類型如下:

ASCII、UTF-8、UTF-16LE/UCS-2、Base64、Binary、Hex

字串轉Buffer

new Buffer(str, [encoding]),預設UTF-8
buf.write(string, [offset], [length], [encoding])

Buffer轉字串

buf.toString([encoding], [start], [end])

Buffer不支援的編碼類型

透過Buffer.isEncoding(encoding)判斷是否支持

iconv-lite:純JavaScript實現,更輕,性能更好無需C 到javascript的轉換

iconv:呼叫C 的libiconv函式庫完成

Buffer的拼接

注意"res.on('data', function(chunk) {})",其中的參數chunk是Buffer對象,直接用拼接會自動轉換為字串,對於寬字節字元可能會導致亂碼產生,

解決方法:

(1) 透過可讀流中的setEncoding()方法,此方法可以讓data事件傳遞不再是Buffer對象,而是編碼後的字串,其內部使用了StringEncoder模組。

(2) 將Buffer物件暫存到陣列中,最後在組裝成一個大Buffer讓後編碼轉換為字串輸出。

Buffer在檔案I/O和網路I/O中廣泛應用,其效能舉足輕重,比普通字串效能高出很多。

Buffer的使用除了與字串的轉換有效能損耗外,在檔案讀取時候,有一個highWaterMark設定對效能影響至關重要。

a,highWaterMark設定對Buffer記憶體的分配與使用有一定影響。

b, highWaterMark設定太小,可能導致系統呼叫次數過多。

什麼時候該用buffer,什麼時候不該用  ------ 純粹的javascript支持unicode碼而對二進位不是很支持,當解決TCP流或文件流的時候,處理流是有必要的,我們保存非utf-8字串,2進位等等其他格式的時候,我們就必須得使用」Buffer“ 。

三,實例引入

複製程式碼 程式碼如下:

 var buf = new Buffer("this is text concat test !") ,str = "this is text concat test !" ;
 console.time("buffer concat test !");
 var list = [] ;
 var len = 100000 * buf.length ;
 for(var i=0;i      list.push(buf) ;
     len = buf.length ;
 }
 var s1 = Buffer.concat(list, len).toString() ;
 console.timeEnd("buffer concat test !") ;
 console.time("string concat test !") ;
 var list = [] ;
 for (var i = 100000; i >= 0; i--) {
   list.push(str) ;
 }
 var s2 = list.join("") ;
 console.timeEnd("string concat test !") ;

以下是運行結果:

讀取速度肯定string更快,buffer還需要toString()的操作。 所以我們在保存字串的時候,該用string還是要用string,就算大字串拼接string的速度也不會比buffer慢。

那什麼時候我們又需要用buffer呢?沒辦法的時候,當我們保存非utf-8字串,2進位等等其他格式的時候,我們就必須得使用了。

四,總結一下

(1),JavaScript適合處理Unicode編碼數據,但對二進位數據的處理並不友善。

(2),所以處理TCP流或檔案系統時,對八位元組流的處理很有必要。
(3),Node有幾個用於處理,創建和消耗八位元組流的方法。
(4),原始資料存放在一個Buffer實例中,一個Buffer類似一個整數數組,但是它的內存,分配在V8堆疊外。一個Buffer的大小是不能更改的。
(5),處理的編碼類型有:ascii,utf8,utf16le,ucs2(utf16le的別名),base64,binary,hex。
(6),Buffer為全域元素,直接new Buffer()就得到一個Buffer實例。

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
node.js流帶打字稿node.js流帶打字稿Apr 30, 2025 am 08:22 AM

Node.js擅長於高效I/O,這在很大程度上要歸功於流。 流媒體匯總處理數據,避免內存過載 - 大型文件,網絡任務和實時應用程序的理想。將流與打字稿的類型安全結合起來創建POWE

Python vs. JavaScript:性能和效率注意事項Python vs. JavaScript:性能和效率注意事項Apr 30, 2025 am 12:08 AM

Python和JavaScript在性能和效率方面的差異主要體現在:1)Python作為解釋型語言,運行速度較慢,但開發效率高,適合快速原型開發;2)JavaScript在瀏覽器中受限於單線程,但在Node.js中可利用多線程和異步I/O提升性能,兩者在實際項目中各有優勢。

JavaScript的起源:探索其實施語言JavaScript的起源:探索其實施語言Apr 29, 2025 am 12:51 AM

JavaScript起源於1995年,由布蘭登·艾克創造,實現語言為C語言。 1.C語言為JavaScript提供了高性能和系統級編程能力。 2.JavaScript的內存管理和性能優化依賴於C語言。 3.C語言的跨平台特性幫助JavaScript在不同操作系統上高效運行。

幕後:什麼語言能力JavaScript?幕後:什麼語言能力JavaScript?Apr 28, 2025 am 12:01 AM

JavaScript在瀏覽器和Node.js環境中運行,依賴JavaScript引擎解析和執行代碼。 1)解析階段生成抽象語法樹(AST);2)編譯階段將AST轉換為字節碼或機器碼;3)執行階段執行編譯後的代碼。

Python和JavaScript的未來:趨勢和預測Python和JavaScript的未來:趨勢和預測Apr 27, 2025 am 12:21 AM

Python和JavaScript的未來趨勢包括:1.Python將鞏固在科學計算和AI領域的地位,2.JavaScript將推動Web技術發展,3.跨平台開發將成為熱門,4.性能優化將是重點。兩者都將繼續在各自領域擴展應用場景,並在性能上有更多突破。

Python vs. JavaScript:開發環境和工具Python vs. JavaScript:開發環境和工具Apr 26, 2025 am 12:09 AM

Python和JavaScript在開發環境上的選擇都很重要。 1)Python的開發環境包括PyCharm、JupyterNotebook和Anaconda,適合數據科學和快速原型開發。 2)JavaScript的開發環境包括Node.js、VSCode和Webpack,適用於前端和後端開發。根據項目需求選擇合適的工具可以提高開發效率和項目成功率。

JavaScript是用C編寫的嗎?檢查證據JavaScript是用C編寫的嗎?檢查證據Apr 25, 2025 am 12:15 AM

是的,JavaScript的引擎核心是用C語言編寫的。 1)C語言提供了高效性能和底層控制,適合JavaScript引擎的開發。 2)以V8引擎為例,其核心用C 編寫,結合了C的效率和麵向對象特性。 3)JavaScript引擎的工作原理包括解析、編譯和執行,C語言在這些過程中發揮關鍵作用。

JavaScript的角色:使網絡交互和動態JavaScript的角色:使網絡交互和動態Apr 24, 2025 am 12:12 AM

JavaScript是現代網站的核心,因為它增強了網頁的交互性和動態性。 1)它允許在不刷新頁面的情況下改變內容,2)通過DOMAPI操作網頁,3)支持複雜的交互效果如動畫和拖放,4)優化性能和最佳實踐提高用戶體驗。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器