首页  >  文章  >  数据库  >  oracle 删除大表内的重复数据

oracle 删除大表内的重复数据

WBOY
WBOY原创
2016-06-07 16:35:431410浏览

因为一些原因数据库中的一张表(2kw+数据)没有建立主键,并且随着时间的增加产生了大量的重复数据,我通过以下方式进行数据去重: 原理:即使是所有业务字段都一样的两条数据他的rowid也是不一样的。 首先按照业务要求找出哪些字段重复的算重复数据,我是这

因为一些原因数据库中的一张表(2kw+数据)没有建立主键,并且随着时间的增加产生了大量的重复数据,我通过以下方式进行数据去重:

原理:即使是所有业务字段都一样的两条数据他的rowid也是不一样的。

首先按照业务要求找出哪些字段重复的算重复数据,我是这样的,以下字段全部一致就认为是重复数据: hphm,hpzl,wfsj,wfxw,jszh
表名:VIOLATION_USE

此表为分区表,查此表分区详情:

SELECT * FROM USER_TAB_PARTITIONS WHERE TABLE_NAME =’VIOLATION_USE’;

USER_TAB_PARTITIONS

查询表使用的分区

可以看到此表有10个分区:SYS_P51 – SYS_P60;

查询重复数据里的最大的rowid,然后删除rowid 在里面的数据,因为是分区表所以可以分区操作,否则时间会非常长(ps我在服务器上操作一晚上也没成功):

delete from violation_use PARTITION(SYS_P51) where rowid in (
select rid from 
(
select max(rowid) rid,count(*)
from violation_use
group by hphm,hpzl,wfsj,wfxw,jszh
having count(*)>1
) 
);

重复执行直到删除所有重复数据。

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn