Fahami secara ringkas modul Penampan dalam Node.js

Artikel ini akan membawa anda melalui Penampan dalam Node.js, dan melihat struktur Penampan, peruntukan memori Penampan, Penyambungan Penampan, dll. Saya harap ia akan membantu anda!

Memahami Penampan

JavaScript sangat mesra untuk operasi rentetan

Buffer ialah Objek seperti Array digunakan terutamanya untuk memanipulasi bait.

Struktur penimbal

Buffer ialah modul tipikal yang menggabungkan JavaScript dan C. Bahagian berkaitan prestasi dilaksanakan dalam C dan bahagian bukan berkaitan prestasi ialah dilaksanakan dalam JavaScript.

Memori yang diduduki oleh Penampan tidak diperuntukkan melalui V8 dan tergolong dalam memori luar timbunan. Disebabkan kesan prestasi kutipan sampah V8, adalah idea yang baik untuk mengurus objek operasi yang biasa digunakan dengan dasar peruntukan memori dan kitar semula yang lebih cekap dan proprietari.

Penimbal sudah dinilai apabila proses Nod bermula dan diletakkan pada objek global (global). Oleh itu, menggunakan penimbal tidak memerlukan pengenalan

Objek penimbal

Unsur-unsur objek Penampan bukan digit heksadesimal dua digit, iaitu, nilai 0-255

let buf01 = Buffer.alloc(8);
console.log(buf01);  // <Buffer 00 00 00 00 00 00 00 00>

boleh menggunakan fill untuk mengisi nilai buf (lalai ialah utf-8 pengekodan Jika nilai yang diisi melebihi penimbal, ia tidak akan ditulis.

Jika panjang penimbal lebih besar daripada kandungan, ia akan diisi berulang kali

Jika anda ingin mengosongkan kandungan yang telah diisi sebelum ini, anda boleh terus fill()

buf01.fill('12345678910')

console.log(buf01);   // <Buffer 31 32 33 34 35 36 37 38>
console.log(buf01.toString()); // 12345678

Jika kandungan yang diisi adalah bahasa Cina, di bawah pengaruh utf-8, aksara Cina akan menduduki 3 elemen, dan huruf serta tanda baca separuh lebar akan menduduki 1 elemen.

let buf02 = Buffer.alloc(18, '开始我们的新路程', 'utf-8');
console.log(buf02.toString());  // 开始我们的新

Buffer sangat dipengaruhi oleh Array类型 Anda boleh mengakses atribut length untuk mendapatkan panjang, anda juga boleh mengakses elemen melalui subskrip, dan anda juga boleh melihat kedudukan elemen melalui. indexOf.

console.log(buf02);  // <Buffer e5 bc 80 e5 a7 8b e6 88 91 e4 bb ac e7 9a 84 e6 96 b0>
console.log(buf02.length)  // 18字节
console.log(buf02[6])  // 230： e6 转换后就是 230
console.log(buf02.indexOf(&#39;我&#39;))  // 6：在第7个字节位置
console.log(buf02.slice(6, 9).toString())  // 我: 取得<Buffer e6 88 91>，转换后就是&#39;我&#39;

Jika nilai yang diberikan kepada bait bukan integer antara 0255, atau nilai yang ditetapkan ialah perpuluhan, nilai yang ditetapkan adalah kurang daripada 0, tambahkan 256 kepada nilai satu dengan satu sehingga anda mendapat 0255 integer antara. Jika lebih daripada 255, tolak 255 satu persatu. Jika ia adalah perpuluhan, buang bahagian perpuluhan (tiada pembundaran)

Peruntukan memori penimbal

BufferPeruntukan memori objek tiada dalam memori timbunan daripada V8, tetapi Ia melaksanakan aplikasi memori pada tahap C Node. Kerana apabila memproses sejumlah besar data bait, anda tidak boleh memohon beberapa memori daripada sistem pengendalian apabila anda memerlukan sedikit memori. Atas sebab ini, Node menggunakan memori pada tahap C untuk memperuntukkan memori dalam JavaScript

Node mengguna pakai slab分配机制 dan slab ialah mekanisme pengurusan memori dinamik pada masa ini dalam beberapa sistem pengendalian *nix Contohnya, Linux

slab ialah kawasan memori bersaiz tetap yang telah digunakan untuk papak mempunyai tiga keadaan berikut:

• penuh: Status diperuntukkan sepenuhnya
• separa: Status diperuntukkan separa
• kosong: Status tidak diperuntukkan

Nod ialah 8KB Gunakan sempadan untuk membezakan sama ada Penampan ialah objek besar atau objek kecil

console.log(Buffer.poolSize);  // 8192

Nilai 8KB ialah saiz setiap papak Pada peringkat JavaScript, ia digunakan sebagai unit unit untuk ingatan peruntukan. Peruntukan

Peruntukkan objek penimbal kecil

Jika saiz Buffer yang dinyatakan kurang daripada 8KB, Node akan memperuntukkannya sebagai objek kecil

1. Bina unit papak baharu, pada masa ini papak berada dalam keadaan kosong

2. Bina objek buffer kecil berukuran 1024KB , slab semasa akan Menduduki 1024KB dan merekodkan lokasi dari mana slab digunakan

3. Kemudian buat objek buffer, Saiznya ialah 3072KB. Proses pembinaan akan menentukan sama ada baki ruang semasa slab mencukupi, gunakan ruang yang tinggal dan kemas kini status peruntukan slab. Selepas ruang 3072KB digunakan, ruang yang tinggal pada papak ini pada masa ini ialah 4096KB.

4. Jika anda mencipta 6144KB buffer pada masa ini, ruang papak semasa tidak mencukupi dan slab baharu akan dibina (ini akan menyebabkan Sisa asal baki ruang papak)

Sebagai contoh, dalam contoh berikut:

Buffer.alloc(1)
Buffer.alloc(8192)

第一个slab中只会存在1字节的buffer对象，而后一个buffer对象会构建一个新的slab存放

由于一个slab可能分配给多个Buffer对象使用，只有这些小buffer对象在作用域释放并都可以回收时，slab的空间才会被回收。 尽管只创建1字节的buffer对象，但是如果不释放，实际是8KB的内存都没有释放

小结：

真正的内存是在Node的C++层面提供，JavaScript层面只是使用。当进行小而频繁的Buffer操作时，采用slab的机制进行预先申请和时候分配，使得JavaScript到操作系统之间不必有过多的内存申请方面的系统调用。 对于大块的buffer，直接使用C++层面提供的内存即可，无需细腻的分配操作。

Buffer的拼接

buffer在使用场景中，通常是以一段段的方式进行传输。

const fs = require('fs');

let rs = fs.createReadStream('./静夜思.txt', { flags:'r'});
let str = ''
rs.on('data', (chunk)=>{
    str += chunk;
})

rs.on('end', ()=>{
    console.log(str);
})

以上是读取流的范例，data时间中获取到的chunk对象就是buffer对象。

但是当输入流中有宽字节编码（一个字占多个字节）时，问题就会暴露。在str += chunk中隐藏了toString()操作。等价于str = str.toString() + chunk.toString()。

下面将可读流的每次读取buffer长度限制为11.

fs.createReadStream('./静夜思.txt', { flags:'r', highWaterMark: 11});

输出得到：

上面出现了乱码，上面限制了buffer长度为11，对于任意长度的buffer而言，宽字节字符串都有可能存在被截断的情况，只不过buffer越长出现概率越低。

encoding

但是如果设置了encoding为utf-8，就不会出现此问题了。

fs.createReadStream('./静夜思.txt', { flags:'r', highWaterMark: 11, encoding:'utf-8'});

原因： 虽然无论怎么设置编码，流的触发次数都是一样，但是在调用setEncoding时，可读流对象在内部设置了一个decoder对象。每次data事件都会通过decoder对象进行buffer到字符串的解码，然后传递给调用者。

string_decoder 模块提供了用于将 Buffer 对象解码为字符串（以保留编码的多字节 UTF-8 和 UTF-16 字符的方式）的 API

const { StringDecoder } = require('string_decoder');
let s1 = Buffer.from([0xe7, 0xaa, 0x97, 0xe5, 0x89, 0x8d, 0xe6, 0x98, 0x8e, 0xe6, 0x9c])
let s2 = Buffer.from([0x88, 0xe5, 0x85, 0x89, 0xef, 0xbc, 0x8c, 0x0d, 0x0a, 0xe7, 0x96])
console.log(s1.toString());
console.log(s2.toString());
console.log('------------------');

const decoder = new StringDecoder('utf8');
console.log(decoder.write(s1));
console.log(decoder.write(s2));

StringDecoder在得到编码之后，知道了宽字节字符串在utf-8编码下是以3个字节的方式存储的，所以第一次decoder.write只会输出前9个字节转码的字符，后两个字节会被保留在StringDecoder内部。

Buffer与性能

buffer在文件I/O和网络I/O中运用广泛，尤其在网络传输中，性能举足轻重。在应用中，通常会操作字符串，但是一旦在网络中传输，都需要转换成buffer，以进行二进制数据传输。 在web应用中，字符串转换到buffer是时时刻刻发生的，提高字符串到buffer的转换效率，可以很大程度地提高网络吞吐率。

如果通过纯字符串的方式向客户端发送，性能会比发送buffer对象更差，因为buffer对象无须在每次响应时进行转换。通过预先转换静态内容为buffer对象，可以有效地减少CPU重复使用，节省服务器资源。

可以选择将页面中动态和静态内容分离，静态内容部分预先转换为buffer的方式，使得性能得到提升。

在文件的读取时，highWaterMark设置对性能影响至关重要。在理想状态下，每次读取的长度就是用户指定的highWaterMark。

highWaterMark大小对性能有两个影响的点：

• 对buffer内存的分配和使用有一定影响
• 设置过小，可能导致系统调用次数过多

更多node相关知识，请访问：nodejs 教程！！

Atas ialah kandungan terperinci Fahami secara ringkas modul Penampan dalam Node.js. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!