Node.js で見落とされている Buffer の使用法の詳細な説明

httpNode.jsでのBufferの使用法についてはオンラインで多くの記事がありますが、私はまだそうではないと感じていますこの記事では、あまり知られていない Node.js の Buffer の使い方を中心に詳しく紹介していますので、必要な方はぜひ参考にしてください。

Buffer を紹介するほとんどの記事は、データのスプライシングとメモリ割り当ての 2 つの側面に主に焦点を当てています。たとえば、fs モジュールを使用してファイルの内容を読み取ると、Buffer が返されます:

fs.readFile('filename', function (err, buf) {
 // <Buffer 2f 2a 2a 0a 20 2a 20 53 75 ... >
});

ネットを使用する場合。または http モジュール。ネットワーク データを受信するとき、data イベント のパラメータも Buffer です。このとき、データの結合には Buffer.concat() も使用する必要があります。 Buffer も使用します。toString() は、次のような Base64 または 16 進数の文字を変換するために使用されます。

var bufs = [];
conn.on('data', function (buf) {
 bufs.push(buf);
});
conn.on('end', function () {
 // 接收数据结束后，拼接所有收到的 Buffer 对象
 var buf = Buffer.concat(bufs);
});

一般に、単一の Node.js プロセスには最大メモリ制限があります。以下は公式からの指示です。ドキュメント: ノード プロセスのメモリ制限は何ですか?

現在、デフォルトでは、v8 のメモリ制限は 32 ビット システムでは 512 MB、64 ビット システムでは 1.4 GB です。この制限は、設定によって引き上げることができます。 -max_old_space_size を最大 ~1024 (~1 GB) (32 ビット) および ~4096 (~4GB) (64 ビット) に設定しますが、メモリ制限に達している場合は、単一プロセスを複数のワーカーに分割することをお勧めします。 . Buffer オブジェクトが占有するメモリ空間は Node.js プロセスのメモリ空間制限にカウントされないため、大量のメモリを必要とするデータを保存するために Buffer をよく使用します: Buffer.concat()来做数据拼接：

console.log(new Buffer('hello, world!').toString('base64'));
// 转换成 base64 字符串：aGVsbG8sIHdvcmxkIQ==

console.log(new Buffer('aGVsbG8sIHdvcmxkIQ==', 'base64').toString());
// 还原 base64 字符串：hello, world!

console.log(new Buffer('hello, world!').toString('hex'));
// 转换成十六进制字符串：68656c6c6f2c20776f726c6421

console.log(new Buffer('68656c6c6f2c20776f726c6421', 'hex').toString());
// 还原十六进制字符串：hello, world!

还可以利用Buffer.toString()来做转换base64或十六进制字符的转换，比如：

// 分配一个 2G-1 字节的数据
// 单次分配内存超过此值会抛出异常 RangeError: Invalid typed array length
var buf = new Buffer(1024 * 1024 * 1024 - 1);

一般情况下，单个 Node.js 进程是有最大内存限制的，以下是来自官方文档中的说明：

What is the memory limit on a node process?

Currently, by default v8 has a memory limit of 512MB on 32-bit systems, and 1.4GB on 64-bit systems. The limit can be raised by setting --max_old_space_size to a maximum of ~1024 (~1 GB) (32-bit) and ~4096 (~4GB) (64-bit), but it is recommended that you split your single process into several workers if you are hitting memory limits.

由于 Buffer 对象占用的内存空间是不计算在 Node.js 进程内存空间限制上的，因此，我们也常常会使用 Buffer 来存储需要占用大量内存的数据：

var buf = new Buffer(6);

buf.writeUIntBE(1447656645380, 0, 6);
// <Buffer 01 51 0f 0f 63 04>

buf.readUIntBE(0, 6);
// 1447656645380

以上便是 Buffer 的几种常见用法。然而，阅读 Buffer 的 API 文档时，我们会发现更多的是readXXX()和writeXXX()

100001,1001,99
100002,1001,67
100003,1001,88

上記は一般的なものです。ただし、Buffer の API ドキュメントを読むと、次のように readXXX() と writeXXX() で始まる API がさらに見つかります。

buf.readUIntLE(offset, byteLength[, noAssert])

• buf.readUIntBE(offset, byteLength[, noAssert])

• buf.readIntLE(offset, byteLength[, noAssert])

• buf . readIntBE(offset, byteLength[, noAssert])

• buf.readUInt8(offset[, noAssert])

• buf.readUInt16LE(offset[, noAssert])

• buf.readUInt16BE(offset[, noAssert] sert ])

• buf.readUInt32LE(offset[, noAssert])

• buf.readUInt32BE(offset[, noAssert])

• buf.readInt8(offset[, noAssert])

• buf.readInt16LE(offset[, noAssert])

• buf.readInt16BE(offset[, noAssert])

• buf.readInt32LE(offset[, noAssert])

• buf.readInt32BE(オフセット[、 noAssert] ])

• buf.readFloatLE(offset[, noAssert])

• buf.readFloatBE(offset[, noAssert])

• buf.readDoubleLE(offset[, noAssert])

• bu f.readDoubleBE( offset[, noAssert])

• buf.write(string[, offset][, length][, encoding])

• buf.writeUIntLE(value, offset, byteLength[, noAssert] )

• buf.writeUIntBE(値, オフセット, byteLength[, noAssert])

• buf.writeIntLE(値, オフセット, byteLength[, noAssert])

• buf.writeIntBE(値, オフセット, byteLength [, noAssert])

• buf.writeUInt8(value, offset[, noAssert])

• buf.writeUInt16LE(value, offset[, noAssert])

• buf.writeUInt16BE(value, offset[, noAssert])

• buf.writeUInt32LE(value, offset[, noAssert])

• buf.writeUInt32BE(value, offset[, noAssert])

• buf.writeInt8(value, offset[, noAssert] )

• buf.writeInt16LE(値, offset[, noAssert])

• buf.writeInt16BE(value, offset[, noAssert])

• buf.writeInt32LE(value, offset[, noAssert])

• buf.writeInt32BE(値, offset[, noAssert])

• buf.writeFloatLE(value, offset[, noAssert])

• buf.writeFloatBE(value, offset[, noAssert])

• buf.writeDoubleLE( value, offset[, noAssert])

• buf.writeDoubleBE(value, offset[, noAssert])

• 
  

  これらの API は、Node.js でデータを操作するのに非常に便利です。たとえば、整数値をファイルに保存するとします。現在の
タイムスタンプ

は 1447656645380 です。文字列として保存すると 11 バイトのスペースが必要になりますが、バイナリ ストレージに変換すると、必要なスペースは 6 バイトのみで十分です:

// 读取一条记录
// buf Buffer 对象
// offset 本条记录在 Buffer 对象的开始位置
// data {number, lesson, score}
function writeRecord (buf, offset, data) {
 buf.writeUIntBE(data.number, offset, 3);
 buf.writeUInt16BE(data.lesson, offset + 3);
 buf.writeInt8(data.score, offset + 5);
}

// 写入一条记录
// buf Buffer 对象
// offset 本条记录在 Buffer 对象的开始位置
function readRecord (buf, offset) {
 return {
 number: buf.readUIntBE(offset, 3),
 lesson: buf.readUInt16BE(offset + 3),
 score: buf.readInt8(offset + 5)
 };
}

// 写入记录列表
// list 记录列表，每一条包含 {number, lesson, score}
function writeList (list) {
 var buf = new Buffer(list.length * 6);
 var offset = 0;
 for (var i = 0; i < list.length; i++) {
 writeRecord(buf, offset, list[i]);
 offset += 6;
 }
 return buf;
}

// 读取记录列表
// buf Buffer 对象
function readList (buf) {
 var offset = 0;
 var list = [];
 while (offset < buf.length) {
 list.push(readRecord(buf, offset));
 offset += 6;
 }
 return list;
}

Node.js を使用して、ネットワーク通信モジュール、データベースのクライアント モジュールなどの基礎となる関数を作成する場合、または大量の構造化データを操作する必要がある場合ファイル、上記の Buffer オブジェクト 提供されている API はすべて必須です。

以下は、Buffer オブジェクトを使用して構造化データを操作する例を示します。

操作结构化数据

假设有一个学生考试成绩数据库，每条记录结构如下：

学号	课程代码	分数
XXXXXX	XXXX	XX

其中学号是一个 6 位的数字，课程代码是一个 4 位数字，分数最高分为 100 分。

在使用文本来存储这些数据时，比如使用 CSV 格式存储可能是这样的：

100001,1001,99
100002,1001,67
100003,1001,88

其中每条记录占用 15 字节的空间，而使用二进制存储时其结构将会是这样：

学号	课程代码	分数
3 字节	2 字节	1 字节

每一条记录仅需要 6 字节的空间即可，仅仅是使用文本存储的 40%！下面是用来操作这些记录的程序：

// 读取一条记录
// buf Buffer 对象
// offset 本条记录在 Buffer 对象的开始位置
// data {number, lesson, score}
function writeRecord (buf, offset, data) {
 buf.writeUIntBE(data.number, offset, 3);
 buf.writeUInt16BE(data.lesson, offset + 3);
 buf.writeInt8(data.score, offset + 5);
}

// 写入一条记录
// buf Buffer 对象
// offset 本条记录在 Buffer 对象的开始位置
function readRecord (buf, offset) {
 return {
 number: buf.readUIntBE(offset, 3),
 lesson: buf.readUInt16BE(offset + 3),
 score: buf.readInt8(offset + 5)
 };
}

// 写入记录列表
// list 记录列表，每一条包含 {number, lesson, score}
function writeList (list) {
 var buf = new Buffer(list.length * 6);
 var offset = 0;
 for (var i = 0; i < list.length; i++) {
 writeRecord(buf, offset, list[i]);
 offset += 6;
 }
 return buf;
}

// 读取记录列表
// buf Buffer 对象
function readList (buf) {
 var offset = 0;
 var list = [];
 while (offset < buf.length) {
 list.push(readRecord(buf, offset));
 offset += 6;
 }
 return list;
}

我们可以再编写一段程序来看看效果：

var list = [
 {number: 100001, lesson: 1001, score: 99},
 {number: 100002, lesson: 1001, score: 88},
 {number: 100003, lesson: 1001, score: 77},
 {number: 100004, lesson: 1001, score: 66},
 {number: 100005, lesson: 1001, score: 55},
];
console.log(list);

var buf = writeList(list);
console.log(buf);
// 输出 <Buffer 01 86 a1 03 e9 63 01 86 a2 03 e9 58 01 86 a3 03 e9 4d 01 86 a4 03 e9 42 01 86 a5 03 e9 37>

var ret = readList(buf);
console.log(ret);
/* 输出
[ { number: 100001, lesson: 1001, score: 99 },
 { number: 100002, lesson: 1001, score: 88 },
 { number: 100003, lesson: 1001, score: 77 },
 { number: 100004, lesson: 1001, score: 66 },
 { number: 100005, lesson: 1001, score: 55 } ]
*/

lei-proto 模块介绍

上面的例子中，当每一条记录的结构有变化时，我们需要修改readRecord()和writeRecord() ，重新计算每一个字段在 Buffer 中的偏移量，当记录的字段比较复杂时很容易出错。为此我编写了lei-proto模块，它允许你通过简单定义每条记录的结构即可生成对应的readRecord()和`writeRecord()函数。

首先执行以下命令安装此模块：

$ npm install lei-proto --save

使用lei-proto模块后，前文的例子可以改为这样：

var parsePorto = require('lei-proto');

// 生成指定记录结构的数据编码/解码器
var record = parsePorto([
 ['number', 'uint', 3],
 ['lesson', 'uint', 2],
 ['score', 'uint', 1]
]);

function readList (buf) {
 var list = [];
 var offset = 0;
 while (offset < buf.length) {
 list.push(record.decode(buf.slice(offset, offset + 6)));
 offset += 6;
 }
 return list;
}

function writeList (list) {
 return Buffer.concat(list.map(record.encodeEx));
}

运行与上文同样的测试程序，可看到其结果是一样的：

<Buffer 01 86 a1 03 e9 63 01 86 a2 03 e9 58 01 86 a3 03 e9 4d 01 86 a4 03 e9 42 01 86 a5 03 e9 37>
[ { number: 100001, lesson: 1001, score: 99 },
 { number: 100002, lesson: 1001, score: 88 },
 { number: 100003, lesson: 1001, score: 77 },
 { number: 100004, lesson: 1001, score: 66 },
 { number: 100005, lesson: 1001, score: 55 } ]

总结

以上がNode.js で見落とされている Buffer の使用法の詳細な説明の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。