Eine kurze Analyse der Verwendung der Stream-API in Node.js_node.js

In diesem Artikel wird Ihnen die Stream-API von node.js von der oberflächlichen bis zur tieferen Ebene vorgestellt. Weitere Einzelheiten finden Sie weiter unten.

Grundlegende Einführung

In Node.js gibt es zwei Möglichkeiten, Dateien zu lesen: Eine besteht darin, fs.readFile zu verwenden, die andere darin, fs.createReadStream zum Lesen zu verwenden.

fs.readFile ist jedem Node.js-Benutzer am vertrautesten. Es ist einfach zu verstehen und leicht zu verwenden. Der Nachteil besteht jedoch darin, dass alle Daten zuerst in den Speicher eingelesen werden. Sobald eine große Datei gefunden wird, ist die Effizienz des Lesens auf diese Weise sehr gering.

Und fs.createReadStream liest Daten über Stream. Es teilt die Datei (Daten) in kleine Teile auf und löst dann einige spezifische Ereignisse aus. Wir können diese Ereignisse abhören und spezifische Verarbeitungsfunktionen schreiben. Diese Methode ist im Vergleich zu den oben genannten nicht einfach anzuwenden, aber sehr effizient.

Tatsächlich wird Stream nicht nur für die Dateiverarbeitung in Node.js verwendet, sondern kann auch an anderen Stellen angezeigt werden, z. B. in process.stdin/stdout, http, TCP-Sockets, zlib, crypto usw.

Dieser Artikel ist eine Zusammenfassung meiner Erkenntnisse über die Stream-API in Node.js. Ich hoffe, dass er für alle nützlich sein wird.

Funktionen

Eventbasierte Kommunikation

Sie können Streams über Pipe verbinden

Typ

Lesbarer Stream lesbarer Datenstrom

Beschreibbarer Stream beschreibbarer Datenstrom

Duplex Stream ist ein bidirektionaler Datenstrom, der gleichzeitig lesen und schreiben kann

Transform Stream konvertiert Datenströme, die gelesen und geschrieben werden können, und kann auch Daten konvertieren (verarbeiten)

Veranstaltung

Ereignisse für lesbare Datenströme

lesbare Trigger, wenn Daten ausfließen

Daten Fügen Sie für Datenströme, die nicht explizit angehalten werden, die Funktion zum Abhören von Datenereignissen hinzu, die den Datenstrom auf Stream-Dynamik umschaltet und Daten so schnell wie möglich nach außen liefert

Ende wird ausgelöst, wenn die Daten gelesen werden. Beachten Sie, dass es nicht mit writeableStream.end() verwechselt werden kann. writeableStream hat kein Endereignis, sondern nur die .end()-Methode

Schließen wird ausgelöst, wenn die Datenquelle geschlossen wird

Fehler wird ausgelöst, wenn beim Lesen von Daten ein Fehler auftritt

Ereignisse beschreibbarer Datenströme

drain writable.write(chunk) gibt false zurück. Nachdem der gesamte Cache geschrieben wurde, wird er ausgelöst, wenn er erneut geschrieben werden kann

Wenn Finish die .end-Methode aufruft, wird sie ausgelöst, nachdem alle zwischengespeicherten Daten freigegeben wurden, ähnlich dem Endereignis im lesbaren Datenstrom, das das Ende des Schreibvorgangs anzeigt

Wird ausgelöst, wenn Pipe als Pipe-Ziel verwendet wird

unpipe Wird ausgelöst, wenn unpipe das Ziel ist

Fehler wird ausgelöst, wenn beim Schreiben von Daten ein Fehler auftritt

Status

Der lesbare Datenstrom hat zwei Zustände: Stream-Dynamik und Pausenzustand. Die Methode zum Ändern des Datenstrom-Zustands ist wie folgt:

Pausestatus -> Streaming-Status

Fügen Sie eine Abhörfunktion für das Datenereignis hinzu

Methode zum Wiederaufrufen von Anrufen

Rufen Sie die Pipe-Methode auf

Hinweis: Wenn es bei der Konvertierung in Streaming-Dynamik keine Abhörfunktion für das Datenereignis und kein Ziel für die Pipe-Methode gibt, gehen die Daten verloren.

Streaming-Status –> Pause-Status

Wenn das Ziel der Pipe-Methode nicht existiert, wird die Pause-Methode aufgerufen

Wenn es ein Ziel für die Pipe-Methode gibt, entfernen Sie alle Funktionen zum Abhören von Datenereignissen und rufen Sie die Unpipe-Methode auf, um alle Ziele der Pipe-Methode zu entfernen

Hinweis: Nur das Entfernen der Überwachungsfunktion des Datenereignisses führt nicht automatisch dazu, dass der Datenfluss in den „Pause-Zustand“ wechselt. Darüber hinaus garantiert der Aufruf der Pause-Methode bei Vorhandensein von Zielen der Pipe-Methode nicht, dass der Datenfluss immer angehalten wird. Sobald diese Ziele Datenanforderungen stellen, stellt der Datenfluss möglicherweise weiterhin Daten bereit.

Nutzung

Dateien lesen und schreiben

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态，流进可写数据流中
rs.pipe(ws);
读取 CSV 文件，并上传数据（我在生产环境中写过）
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

Mehr Nutzung

Sie können auf https://github.com/jeresig/node-stream-playground verweisen. Klicken Sie nach dem Aufrufen der Beispielwebsite direkt auf „Stream hinzufügen“, um die Ergebnisse anzuzeigen.

Häufige Fallstricke

Beim Verwenden von rs.pipe(ws) zum Schreiben von Dateien wird der Inhalt von rs nicht an die Rückseite von ws angehängt, sondern der ursprüngliche Inhalt von ws wird direkt mit dem Inhalt von rs überschrieben

Beendete/geschlossene Streams können nicht wiederverwendet werden und der Datenstream muss neu erstellt werden

Die Pipe-Methode gibt den Zieldatenstrom zurück, zum Beispiel gibt a.pipe(b) b zurück. Achten Sie also beim Warten auf Ereignisse darauf, ob das von Ihnen überwachte Objekt korrekt ist

Wenn Sie mehrere Datenströme überwachen möchten und die Pipe-Methode verwenden, um die Datenströme in Reihe zu verbinden, müssen Sie schreiben:

Daten

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

Häufig verwendete Klassenbibliotheken

Event-Stream fühlt sich bei der Verwendung wie funktionale Programmierung an, was mir persönlich gefällt

awesome-nodejs#streams Da ich noch nie andere Stream-Bibliotheken verwendet habe, schauen Sie bei Bedarf einfach hier nach

Der obige Inhalt ist die vom Herausgeber eingeführte Verwendung der Stream-API in Node.js. Ich hoffe, er gefällt Ihnen.