如何利用 Set 配合 Array.from() 在海量原始数据中实现毫秒级去重-js教程-PHP中文网

Array.from(new Set(arr)) 是原始值数组去重的最优解，时间复杂度 O(n)，底层哈希优化，100 万数据仅约 3.2ms；而 filter + indexOf 为 O(n²)，同场景慢 260 倍，且无法正确处理 NaN。

如何利用 set 配合 array.from() 在海量原始数据中实现毫秒级去重

用 Set 配合 Array.from() 去重，本质是利用 Set 的唯一性 + 构造器的高效初始化能力，对原始数组做一次遍历即可完成去重，时间复杂度稳定为 O(n)，在现代 JavaScript 引擎（V8、SpiderMonkey）中底层高度优化，处理数万甚至百万级基础类型数据（如字符串、数字）时，通常耗时在 1–10 毫秒内。

为什么 Set + Array.from() 比 filter + indexOf 快得多

filter + indexOf 是典型的 O(n²) 方案：每取一个元素，都要从头遍历已处理部分找重复。而 Set 底层基于哈希表（或类似结构），插入和查重平均时间复杂度都是 O(1)。配合 Array.from(set) 直接消费迭代器，避免中间数组拼接，内存与 CPU 更友好。

[...new Set(arr)] 和 Array.from(new Set(arr)) 性能几乎一致，后者略显语义清晰
对 纯原始值数组（如 ['a','b','a'] 或 [1,2,1]），这是最简最优解
不要用 arr.filter((v, i) => arr.indexOf(v) === i) 处理 >10k 数据——它很容易卡顿

处理对象数组的毫秒级去重（关键技巧）

原生 Set 对对象按引用判重，所以 new Set([{id:1}, {id:1}]) 会保留两个对象。要按字段去重，需先提取唯一标识，再映射回对象：

用 Map 缓存已见的 key（如 id），边遍历边过滤：

const seen = new Map();<br>const unique = arr.filter(item => !seen.has(item.id) && seen.set(item.id, 1));

或先生成 key 数组，再用 Set 去重 key，最后查原数组（适合 key 稀疏、需保序）：

const keys = [...new Set(arr.map(x => x.id))];<br>const unique = keys.map(id => arr.find(x => x.id === id));

若数据量极大（如 >50 万对象），推荐第一种 Map 过滤法，实测比双重循环快 10 倍以上

内存与边界注意事项

海量数据下，看似简单的去重可能因隐式转换或类型混杂变慢：

确保输入是扁平数组；嵌套结构（如含数组/对象的字段）会让 Set 判重失效
避免混合类型：数字 1 和字符串 "1" 在 Set 中视为不同值，如需统一，先 .map(Number) 或 .map(String)
超大数组（如千万级）建议分块处理或流式读取，防止堆内存溢出（RangeError: Maximum call stack size exceeded 在某些旧环境可能出现）
V8 对 Array.from(iterable) 有专门优化，但若 iterable 是自定义迭代器且逻辑复杂，性能会回落