在 Node.js 中使用流的好處

介紹

在處理大量資料時，在 Node.js 中使用串流可以在效能和效率方面帶來巨大的優勢。流允許連續且分塊地處理數據，從而避免將檔案完全載入到記憶體中。本文探討了使用流的好處，並透過實際範例示範如何有效率地轉換大型文字檔案。

什麼是流？

流是 Node.js 中的一個抽象，它允許分塊處理數據，而不是一次將所有內容載入到記憶體中。 Node.js 中有四種主要類型的流：

1. 可讀：我們可以讀取資料的流。
2. 可寫：我們可以寫入資料的流。
3. Duplex：可讀可寫的串流。
4. 轉換：可以在資料通過時修改或轉換資料的流。

流的好處

1. 記憶體效率

使用流，資料以區塊的形式處理，這表示您不需要將整個檔案載入記憶體。這對於大檔案至關重要，因為它可以避免記憶體問題並提高系統效能。

2. 即時數據處理

流允許連續的資料處理。例如，您可以在仍在接收下一組資料的同時開始處理前一組數據，從而縮短總處理時間。

3. 保持響應能力

透過不阻塞 Node.js 事件循環，即使在 I/O 密集型操作期間，流也有助於保持應用程式的回應能力。

實際例子

產生測試文件

開始之前，讓我們先建立一個大文字檔案進行測試。您可以使用以下Python腳本產生10GB檔案：

# generator.py

# Define o tamanho do arquivo em bytes (10GB)
file_size = 10000 * 1024 * 1024  # 10 GB

# Linha que será escrita repetidas vezes no arquivo
line = "This is a line of text to be transformed. Adding more text to increase the size of each line.\n"

# Calcula o número de linhas necessárias para preencher o arquivo
num_lines = file_size // len(line)

# Cria e escreve o arquivo
file_path = "large-input.txt"
with open(file_path, "w") as file:
    for _ in range(num_lines):
        file.write(line)

print(f"File created successfully at {file_path}")

要執行上述腳本，請將其儲存為generator.py並使用以下命令執行它：

python3 generator.py

使用流轉換文件

以下是 Node.js 中的程式碼，將 large-input.txt 的內容轉換為大寫並將結果儲存在 large-output.txt 中。它還顯示每 10% 的進度和總處理時間。

// src/index.js

const fs = require('fs');
const { Transform } = require('stream');
const { performance } = require('perf_hooks');

// Caminho para o arquivo de entrada e saída
const inputFile = 'large-input.txt';
const outputFile = 'large-output.txt';

// Cria um Readable Stream a partir do arquivo de entrada
const readableStream = fs.createReadStream(inputFile, { encoding: 'utf8' });

// Cria um Writable Stream para o arquivo de saída
const writableStream = fs.createWriteStream(outputFile);

// Variáveis para rastreamento de progresso
let totalSize = 0;
let processedSize = 0;
let lastLoggedProgress = 0;
const startTime = performance.now();
let processedLines = 0;

fs.stat(inputFile, (err, stats) => {
  if (err) {
    console.error('Erro ao obter informações do arquivo:', err);
    return;
  }
  totalSize = stats.size;

  // Pipe o Readable Stream para o Transform Stream e depois para o Writable Stream
  readableStream
    .pipe(
      new Transform({
        transform(chunk, encoding, callback) {
          processedSize += chunk.length;
          processedLines += chunk.toString().split('\n').length - 1;

          // Converte o chunk de dados para letras maiúsculas
          const upperCaseChunk = chunk.toString().toUpperCase();

          // Chama o callback com o chunk transformado
          callback(null, upperCaseChunk);

          // Log de progresso
          const progress = (processedSize / totalSize) * 100;

          if (progress >= lastLoggedProgress + 10) {
            console.log(
              `Progresso: ${Math.floor(progress)}%, Linhas processadas: ${processedLines}`
            );
            lastLoggedProgress = Math.floor(progress);
          }
        },
      })
    )
    .pipe(writableStream)
    .on('finish', () => {
      const endTime = performance.now();
      const timeTaken = ((endTime - startTime) / 1000).toFixed(2);
      console.log('Transformação completa e arquivo salvo.');
      console.log(`Total de linhas processadas: ${processedLines}`);
      console.log(`Tempo total: ${timeTaken} segundos`);
    })
    .on('error', (err) => {
      console.error('Erro durante a transformação:', err);
    });
});

這種方法的好處

1. 記憶體效率：使用串流可以處理大量數據，而無需將整個檔案載入記憶體中，避免記憶體溢出並提高效能。
2. 最佳效能：以連續區塊的方式處理資料可讓您立即開始處理，而無需等待檔案完全載入。
3. 即時回饋：即時進度顯示提供處理進度的清晰視圖，以便在必要時進行監控和快速介入。

結論

Streams 是 Node.js 中用於操作大量資料的強大工具。使用流，您可以有效率地處理文件，保持應用程式回應並避免記憶體問題。上面的範例示範如何使用流轉換大型文字文件，顯示過程的進度和總時間。

有關更多詳細資訊和存取完整程式碼，請訪問我的 GitHub 儲存庫。

以上是在 Node.js 中使用流的好處的詳細內容。更多資訊請關注PHP中文網其他相關文章！