JavaScript 中 Map 怎么在清洗后端返回的脏数据时过滤重复记录

云芳同学_6328

云芳同学_6328

2026-10-29

709人浏览

原创

JavaScript中用Map去重的核心是利用键唯一性,以id等稳定字段为key存对象,自动覆盖重复项;可定制保留首个或最新记录,并在存入前完成标准化、空值处理等清洗动作。

javascript 中 map 怎么在清洗后端返回的脏数据时过滤重复记录

用 JavaScript 的 Map 清洗后端脏数据时过滤重复记录,核心是利用其键的唯一性,把能标识“重复”的字段(如 id、phone、email)作为 Map 的 key,值存原始对象或所需字段。只要 key 相同,后续插入会自动覆盖——这本身就是一种轻量、可预测的去重机制。

选对去重依据:提取稳定唯一标识

后端返回的数据常有字段缺失、空值、类型混乱等问题,不能直接拿整个对象当 key(Map 不支持对象作 key 且无法自动深比较)。应优先选择业务上真正唯一、清洗后可稳定提取的字段:

  • 若接口明确返回 id 字段,且后端保证其全局唯一,就用 item.id 作为 key
  • 若 id 缺失或为 null/undefined,可降级用组合键,例如 `${item.phone || ''}-${item.email || ''}`
  • 避免用易变字段(如 updatedAt、status)或含空格/大小写不一致的字段(如 name),必要时先 .trim().toLowerCase()

边遍历边存入 Map:天然覆盖重复项

遍历原始数组时,每次计算出 key,然后设进 Map。相同 key 的后续条目会自动替换前面的值,最终 Map.values() 就是去重后的干净数组:

const rawData = [
  { id: 1, name: "张三", phone: "13800138000" },
  { id: 2, name: "李四", phone: "13900139000" },
  { id: 1, name: "张三丰", phone: "13800138000" }, // 重复 id,但 name 脏
];

const uniqueMap = new Map();
rawData.forEach(item => {
  // 做基础清洗:确保 id 存在且为字符串/数字
  const key = item.id != null ? String(item.id) : null;
  if (key) {
    // 后续同 key 条目会自动覆盖,保留最后出现的(也可改为只保留首次)
    uniqueMap.set(key, item);
  }
});

const cleaned = Array.from(uniqueMap.values()); // [{ id: 1, name: "张三丰", ... }, { id: 2, ... }]

按需定制“保留首个”或“保留最新”逻辑

Map.set() 默认是覆盖,如果你希望保留第一次出现的记录(比如防止脏数据覆盖正确字段),只需加一层判断:

java-api-doc-generator
java-api-doc-generator

分析 Java Spring Boot 后端 Controller 代码,自动生成 Markdown 格式的接口文档。当用户说“生成 Java 接口文档”、“生成 API 文档”、“从 Spring 代码生成文档”时触发。

下载
  • 保留首个:用 !uniqueMap.has(key) 控制是否插入
  • 保留最新(默认行为):直接 set 即可
  • 更复杂策略(如按时间选最新):可先清洗时间字段,再在 set 前做比较

配合其他清洗动作一起做:不止于去重

实际清洗中,去重只是第一步。你可以在塞入 Map 前,顺手处理常见脏数据:

  • 字段标准化:如 phone: item.phone?.replace(/[^0-9]/g, '')
  • 空值统一:如 name: item.name?.trim() || null
  • 类型修正:如 age: Number(item.age),并过滤 isNaN 的情况
  • 无效项跳过:如 if (!key || !item.phone) return;

这样,一个 Map 实例就能同时完成去重 + 标准化 + 过滤,代码简洁,逻辑清晰,也便于后续扩展校验规则。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2703

5

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6850

13

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6306

10

js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

5326

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1309

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

5264

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

1000

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1936

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

3705

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

React 教程
React 教程

共58课时 | 12.3万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 6.7万人学习