JavaScript 数组去重怎么处理大文件解析出的行数据-js教程-PHP中文网

处理大文件行数据去重需流式处理：小数据用map增量去重并标准化；长行用哈希（如murmurhash）降内存；超大数据用分块外排+归并；禁用weakmap。

javascript 数组去重怎么处理大文件解析出的行数据

处理大文件解析出的行数据时，数组去重不能简单用 Set 或 filter + indexOf，否则容易内存爆满或卡死。核心思路是：**边读边判重、流式处理、避免全量加载**。

用 Map 或 Set 做增量去重（适合内存可控场景）

如果单行数据量不大（如日志行、CSV 字段少），且总去重后数据量可接受（比如几百万以内），可用 Map 记录已见行（推荐用 Map 而非 Set，便于后续扩展如计数）：

逐行解析（例如用 readline 模块或 createInterface）
对每行做标准化（trim、统一换行符、忽略大小写等），再作为 key 存入 Map
只在 Map 中不存在该 key 时才 push 到结果数组或写入输出流

示例（Node.js）：

const rl = readline.createInterface({ input: fs.createReadStream('big.log') });
const seen = new Map();
const uniqueLines = [];

rl.on('line', (line) => {
  const clean = line.trim();
  if (!seen.has(clean)) {
    seen.set(clean, true);
    uniqueLines.push(clean); // 或直接 write() 到输出文件
  }
});