Lassen Sie uns über das Kernmodul in Nodejs sprechen: Stream-Modul (sehen Sie, wie man es verwendet)

Dieser Artikel vermittelt Ihnen ein detailliertes Verständnis des Stream-Moduls in Nodejs und stellt das Konzept und die Verwendung von Streams vor. Ich hoffe, dass er für alle hilfreich ist! Das

Stream-Modul ist ein Kernmodul in Node. Andere Module wie fs, http usw. basieren auf Instanzen des Stream-Moduls.

Wenn die meisten Front-End-Neulinge zum ersten Mal mit Node beginnen, haben sie immer noch kein klares Verständnis des Konzepts und der Verwendung von Streams, da es im Front-End anscheinend nur sehr wenige Anwendungen im Zusammenhang mit der „Stream“-Verarbeitung gibt -Ende der Arbeit.

1. Flow, was ist das?

Mit dem einfachen Wort „fließen“ können wir leicht die Konzepte von Wasserfluss, Fluss usw. verstehen.

Offizielle Definition: Stream ist eine abstrakte Schnittstelle zur Verarbeitung von Stream-Daten in Node.js

Aus der offiziellen Definition können wir sehen:

• Stream ist eine vom Node Tool bereitgestellte Datenverarbeitungsmethode abstrakte Schnittstelle im Knoten
• Genau genommen kann Stream als Datenstrom verstanden werden, was ein Mittel zum Übertragen von Daten in einer Anwendung ist. Stream ist ein geordneter Datenfluss mit einem Startpunkt und einem Endpunkt.

Der Hauptgrund, warum wir Stream nicht gut verstehen, ist, dass es sich um ein abstraktes Konzept handelt. 数据流，它是一种用来传输数据的手段，在一个应用程序中，流，是一种有序的，有起点和终点的数据流。

造成我们对stream流不太好的理解的主要原因就是，它是一种抽象的概念。

2. 流，的具体使用场景

为了让我们能够清楚的理解stream模块，我们首先来以具体的应用场景来说明stream模块有哪些实际应用之处。

stream流，在Node中主要应用在大量数据处理的需求上，如fs对大文件的读取和写入、http请求响应、文件的压缩、数据的加密/解密等应用。

我们以上面的图片说明流的使用，水桶可以理解为数据源，水池可以理解为数据目标，中间连接的管道，我们可以理解为数据流，通过数据流管道，数据从数据源流向数据目标。

3. 流的分类

在Node中，流被分为4类：可读流，可写流，双工流，转换流。

• Writable: 可以写入数据的流
• Readable: 可以从中读取数据的流
• Duplex: Readable 和 Writable 的流
• Transform: 可以在写入和读取数据时修改或转换数据的 Duplex 流

所有的流都是 EventEmitter 的实例。即我们可以通过事件机制监听数据流的变化。

4. 数据模式和缓存区

在深入学习4类流的具体使用之前，我们需要理解两个概念数据模式和缓存区，有助于我们在接下来流的学习中更好的理解。

4.1 数据模式

Node.js API 创建的所有流都只对字符串和 Buffer（或 Uint8Array）对象进行操作。

4.2 缓存区

Writable和 Readable

2. Spezifische Nutzungsszenarien von Streams🎜🎜Damit wir das Stream-Modul klar verstehen, erläutern wir zunächst anhand konkreter Anwendungsszenarien die praktischen Anwendungen des Stream-Moduls. 🎜🎜stream wird in Node hauptsächlich für große Datenmengen-Verarbeitungsanforderungen verwendet, wie z. B. das Lesen und Schreiben großer Dateien durch FS, die Antwort auf HTTP-Anfragen, die Dateikomprimierung sowie die Datenverschlüsselung/-entschlüsselung und andere Anwendungen . 🎜🎜🎜🎜uns Das obige Bild veranschaulicht die Verwendung von Streams. Der Bucket kann als Datenquelle verstanden werden, der Pool kann als Datenziel verstanden werden und die Pipe, die in der Mitte verbindet Als Datenstrom verstanden, fließen Daten über die Datenflusspipeline von der Datenquelle zum Datenziel. 🎜🎜3. Klassifizierung von Streams🎜🎜In Node sind Streams in 4 Kategorien unterteilt: lesbarer Stream, beschreibbarer Stream, Duplex-Stream und Konvertierungs-Stream. 🎜🎜🎜Writable🎜: Ein Stream, der Daten schreiben kann🎜🎜Readable🎜: Ein Stream, aus dem Daten gelesen werden können🎜🎜Duplex🎜: Lesbar und Schreibbar Code > Stream🎜🎜<a href="https://link.juejin.cn?target=http%3A%2F%2Fnodejs.cn%2Fapi%2Fstream.html%23class-streamtransform" target="_blank" rel=" nofollow noopener noreferrer" title="http://nodejs.cn/api/stream.html#class-streamtransform" ref="nofollow noopener noreferrer"><code>Transform🎜: Kann Duplex-Streams, die Daten ändern oder konvertieren 🎜🎜🎜Alle Streams sind EventEmitter🎜 Instanz. Das heißt, wir können Änderungen im Datenfluss über den Ereignismechanismus überwachen. 🎜🎜4. Datenmodus und Cache-Bereich 🎜🎜Bevor wir uns eingehend mit der spezifischen Verwendung der 4 Stream-Typen befassen, müssen wir zwei Konzepte verstehen: Datenmodus und Pufferbereich, was hilfreich ist. Es wird uns helfen, es im nächsten Studiengang besser zu verstehen. 🎜🎜4.1 Datenmodus🎜🎜Alle von der Node.js-API erstellten Streams funktionieren nur mit Strings Arbeiten Sie mit Buffer- (oder Uint8Array)-Objekten. 🎜🎜4.2 Cache🎜🎜Writable- und Readable-Streams sind beides Speichern Sie Daten in einem internen Puffer. 🎜

Die Datenmenge, die gepuffert werden kann, hängt von der an den Stream-Konstruktor übergebenen Option highWaterMark ab. Bei normalen Streams gibt die Option highWaterMark die Gesamtzahl der Bytes an ;Für Streams, die im Objektmodus betrieben werden, gibt die Option highWaterMark die Gesamtzahl der Objekte an. Die Option highWaterMark 选项, 对于普通的流，highWaterMark 选项指定字节的总数;对于在对象模式下操作的流,highWaterMark选项指定对象的总数。

highWaterMark 选项是阈值，而不是限制：它规定了流在停止请求更多数据之前缓冲的数据量。

当实现调用 stream.push(chunk) 时，数据缓存在 Readable 流中。 如果流的消费者没有调用 stream.read()，则数据会一直驻留在内部队列中，直到被消费。

一旦内部读取缓冲区的总大小达到 highWaterMark 指定的阈值，则流将暂时停止从底层资源读取数据，直到可以消费当前缓冲的数据

当重复调用 writable.write(chunk) 方法时，数据会缓存在 Writable 流中。

5. 可读流

5.1 流读取的流动与暂停

Readable

highWaterMark ist ein Schwellenwert, kein Grenzwert: Sie bestimmt, wie viele Daten der Stream puffert, bevor er keine weiteren Daten mehr anfordert.

• Wenn die Implementierung stream.push(chunk)

  Beim Zwischenspeichern im Readable-Stream. Wenn der Konsument des Streams nicht stream.read()

  , die Daten werden immer resident sein. Bleiben Sie in der internen Warteschlange, bis sie verbraucht werden.
• Sobald die Gesamtgröße des internen Lesepuffers den durch highWaterMark angegebenen Schwellenwert erreicht, stoppt der Stream vorübergehend das Lesen von Daten aus der zugrunde liegenden Ressource, bis die aktuell gepufferten Daten verbraucht werden können
  Bei wiederholtem Aufruf writable.write(chunk)
Methode, die Daten werden im Writable-Stream zwischengespeichert werden. 5. Lesbare Streams

• Flow-Modus: Lesen Sie Daten aus der unteren Ebene des Systems und push() sie in den Cache-Bereich. Nach Erreichen des highWaterMark gibt push() false zurück und die Ressourcen fließen nicht mehr in den Cache-Bereich Das Datenereignis wird ausgelöst, um die Daten zu verbrauchen.
  • Pausemodus: Alle lesbaren Streams starten im angehaltenen Pausenmodus und die Methode stream.read() muss explizit aufgerufen werden, um Daten aus dem Stream zu lesen. Jedes Mal, wenn Daten den Pufferbereich erreichen, wird ein lesbares Ereignis ausgelöst, das heißt, jeder Push () löst lesbar aus.
So schalten Sie den Pausenmodus in den Fließmodus um:

• Datenereignishandle hinzufügen
  • Methode stream.resume() aufrufen
  • Methode stream.pipe() aufrufen, um Daten an den beschreibbaren Modus zu senden

Fließmodus Möglichkeiten, in den Pausenmodus zu wechseln: Wenn kein Pipeline-Ziel vorhanden ist, rufen Sie die Methode stream.pause() auf.

Löschen Sie alle Pipeline-Ziele, falls vorhanden. Mehrere Pipeline-Ziele können durch Aufrufen der Methode stream.unpipe() entfernt werden. 5.2 Häufige Beispiele für lesbare Streams , Daten, wenn sie fließen Wenn die Schreibgeschwindigkeit langsam ist oder das Schreiben unterbrochen wird, wird der Datenfluss im Cache-Bereich zwischengespeichert.

Wenn der Produzent zu schnell schreibt, wird der Warteschlangenpool gefüllt Nach dem Freigeben der Warteschlange muss der Produzent angewiesen werden, die Produktion auszusetzen. Wenn die Warteschlange freigegeben wird, sendet der beschreibbare Stream eine Entleerungsnachricht an den Produzenten.

6.2 Beispiel für einen beschreibbaren Stream

import path from 'path';
import fs, { read } from 'fs';

const filePath = path.join(path.resolve(), 'files', 'text.txt');

const readable = fs.createReadStream(filePath);
// 如果使用 readable.setEncoding() 方法为流指定了默认编码，则监听器回调将把数据块作为字符串传入；否则数据将作为 Buffer 传入。
readable.setEncoding('utf8');
let str = '';

readable.on('open', (fd) => {
  console.log('开始读取文件')
})
// 每当流将数据块的所有权移交给消费者时，则会触发 'data' 事件
readable.on('data', (data) => {
  str += data;
  console.log('读取到数据')
})
// 方法将导致处于流动模式的流停止触发 'data' 事件，切换到暂停模式。 任何可用的数据都将保留在内部缓冲区中。
readable.pause();
// 方法使被显式暂停的 Readable 流恢复触发 'data' 事件，将流切换到流动模式。
readable.resume();
// 当调用 stream.pause() 并且 readableFlowing 不是 false 时，则会触发 'pause' 事件。
readable.on('pause', () => {
  console.log('读取暂停')
})
// 当调用 stream.resume() 并且 readableFlowing 不是 true 时，则会触发 'resume' 事件。
readable.on('resume', () => {
  console.log('重新流动')
})
// 当流中没有更多数据可供消费时，则会触发 'end' 事件。
readable.on('end', () => {
  console.log('文件读取完毕');
})
// 当流及其任何底层资源（例如文件描述符）已关闭时，则会触发 'close' 事件。
readable.on('close', () => {
  console.log('关闭文件读取')
})
// 将 destWritable 流绑定到 readable，使其自动切换到流动模式并将其所有数据推送到绑定的 Writable。 数据流将被自动管理
readable.pipe(destWriteable)
// 如果底层流由于底层内部故障而无法生成数据，或者当流实现尝试推送无效数据块时，可能会发生这种情况。
readable.on('error', (err) => {
  console.log(err)
  console.log('文件读取发生错误')
})

Weitere Informationen zu Knoten finden Sie unter:

nodejs-Tutorial

! !

Das obige ist der detaillierte Inhalt vonLassen Sie uns über das Kernmodul in Nodejs sprechen: Stream-Modul (sehen Sie, wie man es verwendet). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!