JavaScript 中 Set 怎么在前端数据导出 CSV 前快速清理重复的行记录-js教程-PHP中文网

用set清理csv重复行的关键是先将每行转为唯一字符串标识再哈希去重，推荐json.stringify配合键排序或按业务字段拼接key，导出前需处理csv转义且注意大数据量性能优化。

javascript 中 set 怎么在前端数据导出 csv 前快速清理重复的行记录

用 Set 清理 CSV 导出前的重复行，核心是把每行转成唯一字符串标识，再用 Set 去重，最后还原为数组。关键不在 Set 本身，而在“怎么定义一行是否重复”。

把每行对象转成标准化字符串再塞进 Set

直接对对象用 Set 无效（对象引用不同就视为不同），得先序列化。推荐用 JSON.stringify 配合 Object.keys().sort() 确保键顺序一致，避免因属性顺序不同导致相同数据被误判为不同：

const uniqueRows = Array.from(
  new Set(
    originalData.map(row => 
      JSON.stringify(
        Object.fromEntries(
          Object.entries(row).sort(([a], [b]) => a.localeCompare(b))
        )
      )
    )
  )
).map(JSON.parse);

按业务字段去重（更轻量、更可控）

如果只关心几个关键字段（比如 id、email、手机号），不必全量序列化。拼接这些字段生成唯一 key，效率更高，也避免无关字段变动影响去重结果：

例如按 id 去重：new Set(originalData.map(r => r.id))，再配合 Map 或 filter 提取首条记录
按多字段组合（如 name + phone）：r => `${r.name}|${r.phone}`，注意用分隔符防歧义
建议对字段做 trim() 和统一大小写处理，避免空格或大小写导致漏去重

导出前原地去重，不改变原始数据结构

CSV 导出通常依赖二维数组（如 [["name","age"],["Alice",30]]）。若原始数据是对象数组，可先映射为字符串数组，再用 Set 去重行字符串：

Java Maven Common

Java Maven 项目审查工作流的通用输入处理。当 Java Maven 项目以 ZIP压缩包或 GitLab 仓库 URL 形式提供且需要...时使用。

下载

const headers = ["name", "email", "phone"];
const stringRows = data.map(obj => 
  headers.map(h => String(obj[h] ?? "").replace(/"/g, '""')).join('","')
);
const uniqueStringRows = [...new Set(stringRows)];
const csvContent = [headers.join(","), ...uniqueStringRows].join("\n");

注意：这里对字段值做了双引号转义（CSV 标准要求），并用 Set 直接去重整行字符串，简单可靠。