Heim >Web-Frontend >js-Tutorial >Eine kurze Analyse der Verwendung der Stream-API in Node.js_node.js
In diesem Artikel wird Ihnen die Stream-API von node.js von der oberflächlichen bis zur tieferen Ebene vorgestellt. Weitere Einzelheiten finden Sie weiter unten.
Grundlegende Einführung
In Node.js gibt es zwei Möglichkeiten, Dateien zu lesen: Eine besteht darin, fs.readFile zu verwenden, die andere darin, fs.createReadStream zum Lesen zu verwenden.
fs.readFile ist jedem Node.js-Benutzer am vertrautesten. Es ist einfach zu verstehen und leicht zu verwenden. Der Nachteil besteht jedoch darin, dass alle Daten zuerst in den Speicher eingelesen werden. Sobald eine große Datei gefunden wird, ist die Effizienz des Lesens auf diese Weise sehr gering.
Und fs.createReadStream liest Daten über Stream. Es teilt die Datei (Daten) in kleine Teile auf und löst dann einige spezifische Ereignisse aus. Wir können diese Ereignisse abhören und spezifische Verarbeitungsfunktionen schreiben. Diese Methode ist im Vergleich zu den oben genannten nicht einfach anzuwenden, aber sehr effizient.
Tatsächlich wird Stream nicht nur für die Dateiverarbeitung in Node.js verwendet, sondern kann auch an anderen Stellen angezeigt werden, z. B. in process.stdin/stdout, http, TCP-Sockets, zlib, crypto usw.
Dieser Artikel ist eine Zusammenfassung meiner Erkenntnisse über die Stream-API in Node.js. Ich hoffe, dass er für alle nützlich sein wird.
Funktionen
Eventbasierte Kommunikation
Sie können Streams über Pipe verbinden
Typ
Lesbarer Stream lesbarer Datenstrom
Beschreibbarer Stream beschreibbarer Datenstrom
Duplex Stream ist ein bidirektionaler Datenstrom, der gleichzeitig lesen und schreiben kann
Transform Stream konvertiert Datenströme, die gelesen und geschrieben werden können, und kann auch Daten konvertieren (verarbeiten)
Veranstaltung
Ereignisse für lesbare Datenströme
lesbare Trigger, wenn Daten ausfließen
Daten Fügen Sie für Datenströme, die nicht explizit angehalten werden, die Funktion zum Abhören von Datenereignissen hinzu, die den Datenstrom auf Stream-Dynamik umschaltet und Daten so schnell wie möglich nach außen liefert
Ende wird ausgelöst, wenn die Daten gelesen werden. Beachten Sie, dass es nicht mit writeableStream.end() verwechselt werden kann. writeableStream hat kein Endereignis, sondern nur die .end()-Methode
Schließen wird ausgelöst, wenn die Datenquelle geschlossen wird
Fehler wird ausgelöst, wenn beim Lesen von Daten ein Fehler auftritt
Ereignisse beschreibbarer Datenströme
drain writable.write(chunk) gibt false zurück. Nachdem der gesamte Cache geschrieben wurde, wird er ausgelöst, wenn er erneut geschrieben werden kann
Wenn Finish die .end-Methode aufruft, wird sie ausgelöst, nachdem alle zwischengespeicherten Daten freigegeben wurden, ähnlich dem Endereignis im lesbaren Datenstrom, das das Ende des Schreibvorgangs anzeigt
Wird ausgelöst, wenn Pipe als Pipe-Ziel verwendet wird
unpipe Wird ausgelöst, wenn unpipe das Ziel ist
Fehler wird ausgelöst, wenn beim Schreiben von Daten ein Fehler auftritt
Status
Der lesbare Datenstrom hat zwei Zustände: Stream-Dynamik und Pausenzustand. Die Methode zum Ändern des Datenstrom-Zustands ist wie folgt:
Pausestatus -> Streaming-Status
Fügen Sie eine Abhörfunktion für das Datenereignis hinzu
Methode zum Wiederaufrufen von Anrufen
Rufen Sie die Pipe-Methode auf
Hinweis: Wenn es bei der Konvertierung in Streaming-Dynamik keine Abhörfunktion für das Datenereignis und kein Ziel für die Pipe-Methode gibt, gehen die Daten verloren.
Streaming-Status –> Pause-Status
Wenn das Ziel der Pipe-Methode nicht existiert, wird die Pause-Methode aufgerufen
Wenn es ein Ziel für die Pipe-Methode gibt, entfernen Sie alle Funktionen zum Abhören von Datenereignissen und rufen Sie die Unpipe-Methode auf, um alle Ziele der Pipe-Methode zu entfernen
Hinweis: Nur das Entfernen der Überwachungsfunktion des Datenereignisses führt nicht automatisch dazu, dass der Datenfluss in den „Pause-Zustand“ wechselt. Darüber hinaus garantiert der Aufruf der Pause-Methode bei Vorhandensein von Zielen der Pipe-Methode nicht, dass der Datenfluss immer angehalten wird. Sobald diese Ziele Datenanforderungen stellen, stellt der Datenfluss möglicherweise weiterhin Daten bereit.
Nutzung
Dateien lesen und schreiben
var fs = require('fs'); // 新建可读数据流 var rs = fs.createReadStream('./test1.txt'); // 新建可写数据流 var ws = fs.createWriteStream('./test2.txt'); // 监听可读数据流结束事件 rs.on('end', function() { console.log('read text1.txt successfully!'); }); // 监听可写数据流结束事件 ws.on('finish', function() { console.log('write text2.txt successfully!'); }); // 把可读数据流转换成流动态,流进可写数据流中 rs.pipe(ws); 读取 CSV 文件,并上传数据(我在生产环境中写过) var fs = require('fs'); var es = require('event-stream'); var csv = require('csv'); var parser = csv.parse(); var transformer = csv.transform(function(record) { return record.join(','); }); var data = fs.createReadStream('./demo.csv'); data .pipe(parser) .pipe(transformer) // 处理前一个 stream 传递过来的数据 .pipe(es.map(function(data, callback) { upload(data, function(err) { callback(err); }); })) // 相当于监听前一个 stream 的 end 事件 .pipe(es.wait(function(err, body) { process.stdout.write('done!'); }));
Mehr Nutzung
Sie können auf https://github.com/jeresig/node-stream-playground verweisen. Klicken Sie nach dem Aufrufen der Beispielwebsite direkt auf „Stream hinzufügen“, um die Ergebnisse anzuzeigen.
Häufige Fallstricke
Beim Verwenden von rs.pipe(ws) zum Schreiben von Dateien wird der Inhalt von rs nicht an die Rückseite von ws angehängt, sondern der ursprüngliche Inhalt von ws wird direkt mit dem Inhalt von rs überschrieben
Beendete/geschlossene Streams können nicht wiederverwendet werden und der Datenstream muss neu erstellt werden
Die Pipe-Methode gibt den Zieldatenstrom zurück, zum Beispiel gibt a.pipe(b) b zurück. Achten Sie also beim Warten auf Ereignisse darauf, ob das von Ihnen überwachte Objekt korrekt ist
Wenn Sie mehrere Datenströme überwachen möchten und die Pipe-Methode verwenden, um die Datenströme in Reihe zu verbinden, müssen Sie schreiben:
Daten
.on('end', function() { console.log('data end'); }) .pipe(a) .on('end', function() { console.log('a end'); }) .pipe(b) .on('end', function() { console.log('b end'); });
Häufig verwendete Klassenbibliotheken
Event-Stream fühlt sich bei der Verwendung wie funktionale Programmierung an, was mir persönlich gefällt
awesome-nodejs#streams Da ich noch nie andere Stream-Bibliotheken verwendet habe, schauen Sie bei Bedarf einfach hier nach
Der obige Inhalt ist die vom Herausgeber eingeführte Verwendung der Stream-API in Node.js. Ich hoffe, er gefällt Ihnen.