本文介绍如何使用原生 JavaScript(ES6+)从对象数组中精准提取满足多字段值完全一致的重复项,仅依据目标键(如 itemId、nbr、recordID)比对,不依赖 id 等无关字段,且完整保留所有重复对象(非去重,非取唯一代表)。
本文介绍如何使用原生 javascript(es6+)从对象数组中精准提取满足多字段值完全一致的重复项,仅依据目标键(如 `itemid`、`nbr`、`recordid`)比对,不依赖 `id` 等无关字段,且完整保留所有重复对象(非去重,非取唯一代表)。
在实际开发中,我们常需从一组对象中识别“逻辑重复”——即多个对象在业务关键字段(如 itemId、nbr、recordID)上完全一致,但其他字段(如唯一 id)不同。此时,目标不是去重或提取唯一值,而是完整捕获所有重复出现的原始对象,以便后续校验、告警或批量处理。
核心思路是:以目标字段组合生成唯一哈希键 → 按键归组 → 筛选出组内元素数 ≥ 2 的组 → 展平为一维数组。该方案高效、可读性强,且完全兼容现代浏览器与 Node.js 环境。
以下为推荐实现(使用 reduce + Object.values + filter + flat):
const items = [
{ id: 'uuid-uuu', itemId: 110, nbr: 135, recordID: 222 },
{ id: 'uuid-www', itemId: 111, nbr: 134, recordID: 555 },
{ id: 'uuid-xxx', itemId: 111, nbr: 134, recordID: 555 },
{ id: 'uuid-yyy', itemId: 111, nbr: 134, recordID: 111 },
{ id: 'uuid-zzz', itemId: 112, nbr: 135, recordID: 222 },
];
const duplicateItems = Object.values(
items.reduce((groups, item) => {
const { itemId, nbr, recordID } = item;
const key = `${itemId}|${nbr}|${recordID}`; // 使用 | 分隔更安全(避免数字拼接歧义,如 1+11 vs 11+1)
groups[key] ??= [];
groups[key].push(item);
return groups;
}, {})
).filter(group => group.length > 1)
.flat();
console.log(duplicateItems);
// 输出:
// [
// { id: 'uuid-www', itemId: 111, nbr: 134, recordID: 555 },
// { id: 'uuid-xxx', itemId: 111, nbr: 134, recordID: 555 }
// ]
✅ 关键说明:
- 使用模板字符串拼接字段生成复合键,分隔符建议选 | 或 #(避免纯数字字段因无分隔导致哈希冲突,例如 itemId: 12, nbr: 3 与 itemId: 1, nbr: 23 若用 * 拼接均为 "12*3" 和 "1*23",虽本例无此风险,但属健壮性最佳实践);
- ??=(空值合并赋值)确保首次访问键时初始化为空数组,语义清晰且简洁;
- Object.values() 提取所有分组数组,filter(... > 1) 精准筛选出含重复项的组,flat() 将嵌套结构展平;
- 时间复杂度为 O(n),空间复杂度为 O(n),性能优异。
⚠️ 注意事项:
- 若目标字段可能为 null/undefined/NaN,建议预先标准化(如转为空字符串),否则会影响键一致性;
- 对于超大数组(>10⁵ 项),可考虑使用 Map 替代普通对象以规避原型链干扰,但本方案在绝大多数场景下已足够可靠;
- 此方法严格区分大小写与数据类型(如 111 与 '111' 视为不同),请确保输入数据类型统一。
掌握该模式后,你可轻松适配任意字段组合(如仅比对 itemId 和 nbr,或增加 status 字段),只需修改解构与键生成逻辑,灵活应对各类业务去重与重复检测需求。










