JS 数组去重怎么利用对象键值唯一性处理大量数据

云浩小哥_9740

云浩小哥_9740

2026-10-23

361人浏览

原创

对象键值唯一性去重本质是利用js对象或map的键唯一性,将数组元素转为key存入,时间复杂度o(n),远优于filter+indexof的o(n²),适合大量基本类型或对象数组按字段去重。

js 数组去重怎么利用对象键值唯一性处理大量数据

用对象键值唯一性去重,本质是把数组元素转成字符串作 key 存进普通对象或 Map,靠 JS 对象属性名天然不重复的特性筛掉重复项。它适合大量基本类型数据(如数字、字符串),执行快、内存可控,比 filter + indexOf 的 O(n²) 效率高得多。

为什么对象键值法适合大量数据

对象内部用哈希表实现属性查找,单次存取接近 O(1),整体时间复杂度约 O(n)。而 indexOf 每次都要从头遍历,10 万条数据时可能触发百万级比较。对象法只需一次遍历 + 一次属性写入判断,实测在 50 万量级仍稳定在毫秒级。

基础写法:用普通对象做 hash 表

适用于纯数字、字符串、布尔值等可安全转字符串的类型:

  • 用空对象 {} 当“记录本”,每遇到一个元素就检查它是否已作为 key 存在
  • 存在则跳过;不存在则设为 true 并推入结果数组
  • 注意:obj[item] 会把 0、""、false 等 falsy 值误判,应改用 hasOwnProperty 或 in 操作符

示例代码:

chartjs-reporter
chartjs-reporter

此技能用于在用户需要将结构化数据(查询结果、CSV 摘要、JSON 记录或 Python 字典/列表)转换为独立的 HTML 页面时使用。

下载
const arr = [1, "1", 2, 2, "a", "a", 0, 0];
const obj = {};
const result = [];
for (const item of arr) {
  if (!obj.hasOwnProperty(item)) {
    obj[item] = true;
    result.push(item);
  }
}
// result → [1, "1", 2, "a", 0]

升级写法:用 Map 替代普通对象

解决普通对象的两个硬伤:无法区分 1 和 "1",且不能用对象/数组当 key:

  • Map 支持任意类型作 key,且严格按 === 判断相等,不会自动类型转换
  • 对大量数据,Map 的插入和查询性能更稳定,内存管理也更优
  • 写法更清晰:用 map.has(key) 和 map.set(key, value)

示例代码:

const arr = [1, "1", 2, 2, {}, {}];
const map = new Map();
const result = [];
for (const item of arr) {
  if (!map.has(item)) {
    map.set(item, true);
    result.push(item);
  }
}
// result → [1, "1", 2, {}, {}](两个空对象都保留,因引用不同)

处理对象数组:按指定字段去重

如果数组里是对象,比如 [{id: 1, name: "A"}, {id: 1, name: "B"}],想按 id 去重,就不能直接用对象或 Map 存整个对象,而要提取唯一标识字段:

  • 遍历中取 item.id 作为 key,存进 Map 或对象
  • 只在该 id 第一次出现时保留对应对象
  • 这样既保持了原对象结构,又避免了深比较开销

示例代码(按 id 去重):

const users = [{id: 1, name: "A"}, {id: 2, name: "B"}, {id: 1, name: "C"}];
const seen = new Map();
const uniqueUsers = [];
for (const user of users) {
  if (!seen.has(user.id)) {
    seen.set(user.id, true);
    uniqueUsers.push(user);
  }
}
// uniqueUsers → [{id: 1, name: "A"}, {id: 2, name: "B"}]

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

javascript js

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

5126

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1249

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

5044

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

980

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1916

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

3605

4

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

2023.09.12

4693

6

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

2023.09.20

3080

5

java访问控制修饰符介绍
java访问控制修饰符介绍

java访问控制修饰符有四种,分别是public、protected、private、默认访问修饰符。详细介绍:1、public,public是最宽松的访问控制修饰符,被修饰的类、方法和变量可以被任何其他类访问,当一个类、方法或变量被声明为public时,它们可以在任何地方被访问,无论是同一个包中的类还是不同包中的类;2、protected修饰符等等。

2023.09.20

988

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

React 教程
React 教程

共58课时 | 12.3万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 6.7万人学习