如何在 Node.js 中高效合并两个 CSV 文件（基于城市字段关联）-js教程-PHP中文网

如何在 node.js 中高效合并两个 csv 文件（基于城市字段关联）

本文介绍使用 Node.js 合并多个 CSV 文件的正确方法，重点解决基于共同字段（如 city）的外连接（outer join）问题，避免 O(n²) 时间复杂度，推荐采用 Map 建立哈希索引实现 O(n+m) 线性合并，并提供完整可运行示例。

本文介绍使用 Node.js 合并多个 CSV 文件的正确方法，重点解决基于共同字段（如 city）的外连接（outer join）问题，避免 O(n²) 时间复杂度，推荐采用 Map 建立哈希索引实现 O(n+m) 线性合并，并提供完整可运行示例。

在 Node.js 中合并 CSV 数据时，直接嵌套循环（forEach 套 forEach）虽直观，但时间复杂度为 O(n×m)，面对数千行数据将显著拖慢性能。更优解是利用哈希查找——将其中一个文件按关联键（如 city）构建成 Map，再单次遍历另一文件完成匹配与合并。这不仅将复杂度降至 O(n + m)，还能自然支持不等长、无序、部分匹配的真实业务场景（如本例中 Birmingham 有交集，Seattle 和 Juneau 仅存在于一方）。

以下为推荐实现（使用 csv-parser 库解析，fs.promises 读取）：

npm install csv-parser

const fs = require('fs').promises;
const csv = require('csv-parser');

// 1. 读取并解析 population.csv → 构建 city → record 映射
async function loadPopulation() {
  const results = [];
  const stream = fs.createReadStream('./data/population.csv');
  return new Promise((resolve, reject) => {
    stream
      .pipe(csv({ headers: true, skipEmptyLines: true }))
      .on('data', (row) => results.push(row))
      .on('end', () => resolve(new Map(results.map(r => [r.city.trim(), r]))))
      .on('error', reject);
  });
}

// 2. 读取 temperature.csv 并与 population Map 合并（左外连接 + 补全右表缺失）
async function mergeCSVs() {
  const popMap = await loadPopulation();
  const tempResults = [];

  const tempStream = fs.createReadStream('./data/temperature.csv');
  await new Promise((resolve, reject) => {
    tempStream
      .pipe(csv({ headers: true, skipEmptyLines: true }))
      .on('data', (row) => {
        const city = row.city.trim();
        const popRow = popMap.get(city) || {};
        // 合并：temp 行为主，pop 字段为可选补充
        tempResults.push({
          index: row.index,
          city: row.city,
          JAN: row.JAN,
          FEB: row.FEB,
          ANN: row.ANN,
          State: popRow.State || '',
          Population: popRow.Population || ''
        });
      })
      .on('end', () => {
        // 补充 population 中存在但 temperature 中不存在的城市（如 Seattle）
        for (const [city, popRow] of popMap) {
          if (!tempResults.some(r => r.city.trim() === city)) {
            tempResults.push({
              index: '',
              city: popRow.city,
              JAN: '',
              FEB: '',
              ANN: '',
              State: popRow.State,
              Population: popRow.Population
            });
          }
        }
        resolve();
      })
      .on('error', reject);
  });

  return tempResults;
}

// 使用示例
mergeCSVs()
  .then(console.table) // 或写入新 CSV
  .catch(console.error);

✅ 关键优势说明：