Node.js ストリームによる効率的なデータ処理

この記事では、Node.js ストリーム について詳しく説明し、それらが大量のデータを効率的に処理するのにどのように役立つかを理解します。ストリームは、大きなファイルの読み取り、ネットワーク経由のデータ転送、リアルタイム情報の処理など、大規模なデータ セットを処理するためのエレガントな方法を提供します。データ全体を一度に読み書きする従来の I/O 操作とは異なり、ストリームはデータを管理可能なチャンクに分割し、部分ごとに処理するため、効率的なメモリ使用が可能になります。

この記事では以下について説明します:

1. Node.js ストリームとは何ですか?
2. Node.js のさまざまな種類のストリーム
3. ストリームの作成方法と使用方法。
4. ストリームの実際の使用例。
5. ストリームを使用する利点

Node.js ストリームとは何ですか?

Node.js の

ストリーム は、継続的なデータ フローです。ストリームは、ファイルの読み取り、ネットワーク経由の通信、データベースとの対話など、I/O バウンドのタスクを処理する場合に特に役立ちます。オペレーション全体が完了するのを待つ代わりに、ストリームを使用するとデータをチャンク単位で処理できます。

ストリームの主な機能:

• イベント駆動型: ストリームは Node.js のイベント駆動型アーキテクチャ上に構築されており、データが利用可能になるとすぐに処理できます。
• メモリ効率が高い: ストリームはデータをチャンクに分割し、部分ごとに処理するため、システムのメモリ負荷が軽減されます。
• ノンブロッキング: Node.js ストリームは、メイン イベント ループをブロックすることなく、大きなデータを非同期的に処理できます。

Node.js のストリームの種類

Node.js は 4 種類のストリームを提供します。

1. 読み取り可能なストリーム: データを読み取ることができるストリーム。
2. 書き込み可能なストリーム: データを書き込むことができるストリーム。
3. 二重ストリーム: 読み取りと書き込みの両方が可能なストリーム (ネットワークソケットなど)。
4. 変換ストリーム: 読み取りまたは書き込み中にデータを変更または変換するストリーム (ファイルの圧縮または解凍など)。

Node.js ストリームの使用

例を挙げて、各タイプのストリームを見てみましょう。

3.1 読み取り可能なストリーム

読み取り可能なストリーム を使用すると、データを部分ごとに読み取ることができます。これは、大きなファイルやリアルタイム データ ソースを処理する場合に便利です。

const fs = require('fs');

// Create a readable stream from a large file
const readableStream = fs.createReadStream('largeFile.txt', {
    encoding: 'utf8',
    highWaterMark: 16 * 1024 // 16 KB chunk size
});

readableStream.on('data', (chunk) => {
    console.log('New chunk received:', chunk);
});

readableStream.on('end', () => {
    console.log('Reading file completed');
});

• この例では、createReadStream メソッドは 16 KB のチャンクでファイルを読み取ります。
• 各チャンクは、ファイル全体がメモリに読み込まれるのを待つのではなく、利用可能になるとすぐに処理されます。
• 終了イベントは、読み取りプロセスの完了を通知します。

3.2 書き込み可能なストリーム

書き込み可能ストリームは、ファイルやネットワーク ソケットなどの宛先にデータを段階的に書き込むために使用されます。

const fs = require('fs');

// Create a writable stream to write data to a file
const writableStream = fs.createWriteStream('output.txt');

writableStream.write('Hello, world!\n');
writableStream.write('Writing data chunk by chunk.\n');

// End the stream and close the file
writableStream.end(() => {
    console.log('File writing completed');
});

• write は、データを増分的にファイルに送信します。
• end 関数は、これ以上データが書き込まれないことを通知し、ストリームを閉じます。

3.3 二重ストリーム

二重ストリームはデータの読み取りと書き込みができます。一般的な例の 1 つは、データを同時に送受信できる TCP ソケットです。

const net = require('net');

// Create a duplex stream (a simple echo server)
const server = net.createServer((socket) => {
    socket.on('data', (data) => {
        console.log('Received:', data.toString());
        // Echo the data back to the client
        socket.write(`Echo: ${data}`);
    });

    socket.on('end', () => {
        console.log('Connection closed');
    });
});

server.listen(8080, () => {
    console.log('Server listening on port 8080');
});

• この例では、クライアントから受信データを読み取り、それを送り返す基本的なエコー サーバーを作成します。
• 二重ストリームは、ネットワーク プロトコルなど、双方向通信が必要な場合に便利です。

3.4 ストリームの変換

変換ストリームは、通過するデータを変更する特別なタイプの二重ストリームです。一般的な使用例はファイル圧縮です。

const fs = require('fs');
const zlib = require('zlib');

// Create a readable stream for a file and a writable stream for the output file
const readable = fs.createReadStream('input.txt');
const writable = fs.createWriteStream('input.txt.gz');

// Create a transform stream that compresses the file
const gzip = zlib.createGzip();

// Pipe the readable stream into the transform stream, then into the writable stream
readable.pipe(gzip).pipe(writable);

writable.on('finish', () => {
    console.log('File successfully compressed');
});

• パイプ メソッドは、あるストリームから別のストリームにデータ フローを転送するために使用されます。
• この場合、ファイルは読み取られ、Gzip を使用して圧縮されてから、新しいファイルに書き込まれます。

ストリームの実世界の使用例

4.1 大きなファイルの処理

大きなファイル (ログやメディアなど) を扱う場合、ファイル全体をメモリにロードするのは非効率的であり、パフォーマンスの問題が発生する可能性があります。ストリームを使用すると、大きなファイルを段階的に読み書きできるため、メモリの負荷が軽減されます。

例:

• 使用例: ビデオまたはオーディオ ファイルをストリーミングするメディア プレーヤー。
• 解決策: ストリームを使用すると、プレーヤーが一度にロードするデータのチャンクのみが保証され、再生パフォーマンスが向上し、バッファリングが削減されます。

4.2 リアルタイムデータ処理

チャット サーバーやライブ ダッシュボードなどのリアルタイム アプリケーションは、データが到着したときに処理する必要があります。ストリームは、このデータを効率的に処理し、待ち時間を短縮する方法を提供します。

例:

• Cas d'utilisation : Un tableau de bord de suivi du cours des actions.
• Solution : Les flux permettent au serveur de traiter les cours des actions entrants en temps réel et d'envoyer des mises à jour à l'interface utilisateur.

4.3 Compression et décompression de fichiers

La compression est un autre cas d'utilisation courant pour les flux. Au lieu de charger l'intégralité du fichier en mémoire, vous pouvez compresser les données à la volée à l'aide de flux de transformation.

Exemple :

• Cas d'utilisation : systèmes de sauvegarde qui compressent les fichiers volumineux avant de les enregistrer.
• Solution : Les flux permettent de lire et de compresser les fichiers de manière incrémentielle, ce qui permet de gagner du temps et de réduire l'empreinte mémoire.

Avantages de l'utilisation des flux

1. Efficacité de la mémoire : les flux fonctionnent sur des morceaux de données, ce qui minimise la mémoire requise pour traiter des fichiers ou des ensembles de données volumineux.
2. Performances améliorées : le traitement des données réduit progressivement le temps nécessaire au chargement et au traitement de grandes quantités d'informations.
3. E/S non bloquantes : les flux exploitent l'architecture asynchrone de Node.js, permettant au serveur de gérer d'autres tâches pendant le traitement des données.
4. Traitement des données en temps réel : les flux permettent une communication en temps réel, idéal pour les applications Web qui nécessitent un transfert de données à faible latence.
5. Flexibilité : les flux peuvent être combinés, redirigés et transformés, ce qui en fait un outil puissant pour les pipelines de traitement de données complexes.

Conclusion

Les flux Node.js offrent un moyen flexible et efficace de gérer de grandes quantités de données, que vous lisiez des fichiers, traitiez des requêtes réseau ou effectuiez des opérations en temps réel. En décomposant les données en morceaux gérables, les flux vous permettent de travailler avec de grands ensembles de données sans surcharger la mémoire du système.

Dans le prochain article, nous explorerons NGINX et son rôle dans la diffusion de contenu statique, l'équilibrage de charge et le travail en tant que proxy inverse dans les applications Node.js. Nous discuterons également de la façon d’intégrer SSL et le cryptage pour une sécurité renforcée.

以上がNode.js ストリームによる効率的なデータ処理の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。