Analisis ringkas tentang penggunaan Stream API dalam Node.js_node.js

Artikel ini memperkenalkan api strim node.js kepada anda dari yang lebih cetek kepada yang lebih dalam. Sila lihat di bawah untuk butiran khusus.

Pengenalan asas

Dalam Node.js, terdapat dua cara untuk membaca fail, satu ialah menggunakan fs.readFile, satu lagi ialah menggunakan fs.createReadStream untuk membaca.

fs.readFile adalah yang paling biasa kepada setiap pengguna Node.js. Ia mudah difahami dan mudah digunakan. Tetapi kelemahannya ialah semua data akan dibaca ke dalam memori terlebih dahulu Setelah fail besar ditemui, kecekapan membaca dengan cara ini adalah sangat rendah.

Dan fs.createReadStream membaca data melalui Strim Ia membahagikan fail (data) kepada kepingan kecil dan kemudian mencetuskan beberapa peristiwa tertentu Kami boleh mendengar peristiwa ini dan menulis fungsi pemprosesan tertentu. Kaedah ini tidak mudah digunakan berbanding di atas, tetapi ia sangat berkesan.

Malah, Stream bukan sahaja digunakan untuk pemprosesan fail dalam Node.js, ia juga boleh dilihat di tempat lain, seperti process.stdin/stdout, http, soket tcp, zlib, crypto, dll.

Artikel ini ialah ringkasan pembelajaran saya tentang API Strim dalam Node.js. Saya harap ia berguna kepada semua orang.

Ciri

Komunikasi berasaskan acara

Anda boleh menyambungkan aliran melalui paip

Taip

Strim boleh dibaca Strim data boleh dibaca

Strim boleh tulis Strim data boleh tulis

Strim Dupleks ialah aliran data dwiarah yang boleh membaca dan menulis pada masa yang sama

Transform Stream menukar strim data, yang boleh dibaca dan ditulis, dan juga boleh menukar (memproses) data

Acara

Acara untuk strim data boleh dibaca

cetusan boleh dibaca apabila data mengalir keluar

data Untuk strim data yang tidak dijeda secara eksplisit, tambahkan fungsi mendengar peristiwa data, yang akan menukar strim data kepada dinamik strim dan menyediakan data ke luar secepat mungkin

akhir dicetuskan apabila data dibaca. Harap maklum bahawa ia tidak boleh dikelirukan dengan writeableStream.end() writeableStream tidak mempunyai acara tamat, hanya kaedah .end()

tutup pencetus apabila sumber data ditutup

ralat dicetuskan apabila ralat berlaku semasa membaca data

Acara strim data boleh tulis

drain boleh ditulis.write(chunk) mengembalikan palsu Selepas semua cache ditulis, ia akan dicetuskan apabila ia boleh ditulis semula

Apabila selesai memanggil kaedah .end, ia dicetuskan selepas semua data cache dikeluarkan, serupa dengan peristiwa tamat dalam strim data yang boleh dibaca, menunjukkan tamatnya proses penulisan

Dicetuskan apabila paip digunakan sebagai sasaran paip

nyah paip Dicetuskan apabila nyahpaip menjadi sasaran

ralat dicetuskan apabila ralat berlaku semasa menulis data

Status

Strim data boleh dibaca mempunyai dua keadaan: keadaan strim dinamik dan jeda Kaedah untuk menukar keadaan aliran data adalah seperti berikut:

Jeda status -> Status penstriman

Tambah fungsi mendengar untuk acara data

Kaedah resume panggilan

Panggil kaedah paip

Nota: Jika tiada fungsi mendengar untuk peristiwa data dan tiada destinasi untuk kaedah paip semasa menukar kepada dinamik penstriman, data akan hilang.

Status penstriman -> Status Jeda

Apabila destinasi kaedah paip tidak wujud, kaedah jeda dipanggil

Apabila terdapat destinasi untuk kaedah paip, alih keluar semua fungsi mendengar peristiwa data dan panggil kaedah nyahpaip untuk mengalih keluar semua destinasi kaedah paip

Nota: Hanya mengalih keluar fungsi mendengar peristiwa data tidak akan menyebabkan aliran data memasuki "keadaan jeda" secara automatik. Selain itu, memanggil kaedah jeda apabila terdapat destinasi kaedah paip tidak menjamin bahawa aliran data sentiasa dijeda Sebaik sahaja destinasi tersebut mengeluarkan permintaan data, aliran data mungkin terus menyediakan data.

Penggunaan

Baca dan tulis fail

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态，流进可写数据流中
rs.pipe(ws);
读取 CSV 文件，并上传数据（我在生产环境中写过）
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

Lebih Banyak Penggunaan

Anda boleh merujuk kepada https://github.com/jeresig/node-stream-playground Selepas memasuki tapak web sampel, klik tambah aliran terus untuk melihat hasilnya.

Perangkap Biasa

Menggunakan rs.pipe(ws) untuk menulis fail tidak menambahkan kandungan rs ke belakang ws, tetapi secara langsung menimpa kandungan asal ws dengan kandungan rs

Strim yang ditamatkan/ditutup tidak boleh digunakan semula dan strim data mesti dicipta semula

Kaedah paip mengembalikan aliran data sasaran, contohnya, a.pipe(b) mengembalikan b, jadi apabila mendengar acara, sila beri perhatian sama ada objek yang anda pantau adalah betul

Jika anda ingin memantau berbilang aliran data dan anda menggunakan kaedah paip untuk menyambungkan aliran data secara bersiri, anda perlu menulis:

data

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

Perpustakaan kelas yang biasa digunakan

Strim acara terasa seperti pengaturcaraan berfungsi apabila digunakan, yang saya suka secara peribadi

awesome-nodejs#streams Memandangkan saya tidak pernah menggunakan perpustakaan aliran lain, jadi jika anda memerlukannya, lihat sahaja di sini

Kandungan di atas ialah penggunaan Stream API dalam Node.js yang diperkenalkan oleh editor saya harap anda menyukainya.