excel 自带的“删除重复项”就能清理重复记录,用不着一上来就装新软件。excel 数据去重与清洗如果涉及反复整理报表,还可以用 power query 保存处理步骤;碰到公司名称、产品名称写法不统一,免费的 openrefine 则能辅助查找相似文本。这几种工具解决的问题各有侧重。
Excel:先明确按哪些列判断重复
在 Excel 中选中数据区域,从“数据→删除重复项”进入,然后选择用于判断重复的列。判断一条订单是否重复,可能需要同时看订单号和明细项;如果只按客户姓名去重,就可能把本来不同的记录删掉。表格有标题时,也要确认标题行选项正确。
删除重复项会改动数据,操作前先复制一份工作表。仅想找出问题时,可以先用条件格式标记重复值,再人工查看。看起来一样的内容也可能带有空格或不同数据类型,不应直接把视觉相同等同于规则相同。

Power Query:把清洗步骤保存下来重复使用
对定期收到的报表,可以在 Power Query 中统一列名和类型,整理空白、错误值后,再按选定列删除重复行。相关入口在“主页→删除行→删除重复项”,也可根据所选列使用对应菜单。查询步骤能保留,下一次换入同结构数据后再刷新,不必每次重新手工做一遍。
Power Query 的文本比较区分大小写。如果业务上认为 ABC 与 abc 是同一个值,应先按规则统一大小写,再去重。也不要依赖“删除重复项”必然留下自己希望的那条记录;需要保留最新记录或最高优先级数据时,应另外设计明确的筛选规则。
诊断并修复涉及公式、命名范围、Power Query 刷新、数据透视表、VBA/宏保存等问题的 Microsoft Excel XLSX 工作簿

OpenRefine:适合清理不一致的名称和写法
OpenRefine 是本地运行、通过浏览器界面操作的开源工具。把表格数据导入项目后,可以使用文本分面检查不同写法,再从列菜单的 Edit cells 进入 Cluster and edit,查看程序找出的相似值。确认确实指向同一对象后,再合并成统一写法。
聚类不是自动判定业务上相同,也不等于直接删除整行重复记录。名称相近的两个客户可能并不是同一个人,缩写也可能对应不同机构。逐组确认后再合并;整理完的数据再导出使用,不要指望它保留 Excel 文件里的全部公式、图表和页面布局。

行数变少,不一定代表数据清理对了
同一个客户下了两笔订单,两行数据不一定重复;同一家公司的名称写了两种形式,也不一定需要删除其中一行。去重前想清楚一条记录由哪些字段确定,比选哪个按钮更重要。处理前后留住行数和汇总值,才能解释删掉了什么。产品编码、身份证号这类字段按文本处理,别在清洗时丢掉前导零或改掉长数字。










