如何高效删除数据库中重复的数据？ (删除数据库中重复的数据)

在日常的数据库管理中，经常会遇到删除数据库中重复数据的问题。重复数据会大幅度降低数据库的性能，同时也会造成数据冗余，不便于管理和维护。本文将为您介绍如何高效删除数据库中重复的数据。

1. 确认重复数据

在进行删除工作之前，需要确认哪些数据是重复的。可以使用SELECT语句查询数据库中的重复数据。如下所示：

SELECT col1, col2, col3, COUNT(*) AS duplicate_count

FROM table

GROUP BY col1, col2, col3

HAVING COUNT(*) > 1;

此语句会将表table中所有相同col1、col2、col3的数据作为一组，查出在这个组中duplication_count（即组中数据数量）大于1的记录。通过这可以确定重复数据的条数以及在哪些字段上出现了重复值。

2. 确定删除条件

确定重复数据之后，需要确定删除的条件。我们可以使用以下语句删除表table中的重复数据：

DELETE FROM table

WHERE (col1, col2, col3)=(SELECT col1, col2, col3

FROM (SELECT col1, col2, col3, ROW_NUMBER() OVER (PARTITION BY col1, col2, col3 ORDER BY id) AS rn

FROM table) t

WHERE t.rn > 1 );

这条语句会将表table中的重复数据删除，只保留每组数据中的之一条记录。在本语句中，我们使用ROW_NUMBER()函数来给每行数据从1到n排序，并将排序后的第二以及之后的记录删除。

3. 使用索引提高查询速度

若需要处理大量数据的重复记录，数据库的查询速度可能会很慢。我们可以使用索引来大幅提高查询速度。在确定重复数据与删除条件后，可以使用以下语句创建索引：

CREATE INDEX idx_col1_col2_col3 ON table (col1, col2, col3);

该语句会在col1、col2、col3这三个字段上创建索引，以提高查询和删除的效率。

4. 使用事务保证数据一致性

在删除数据时，我们还需要保证数据的一致性。为此，我们应该使用事务来处理删除操作。在删除操作中，如果发生错误，事务可以回滚并恢复原状，从而保证数据的一致性。我们可以使用以下语句：

BEGIN TRANSACTION;

DELETE FROM table

WHERE (col1, col2, col3)=(SELECT col1, col2, col3

FROM (SELECT col1, col2, col3, ROW_NUMBER() OVER (PARTITION BY col1, col2, col3 ORDER BY id) AS rn

FROM table) t

WHERE t.rn > 1 );

COMMIT TRANSACTION;

5.

删除数据库中的重复数据是数据库管理的重要任务之一，也是保持数据库性能的关键。在本文中，我们介绍了如何高效删除数据库中的重复数据，包括确认重复数据、确定删除条件、使用索引提高查询速度和使用事务保证数据一致性。通过这些方法，你可以轻松地删除数据库中的重复数据，提高数据库的性能和可管理性。

相关问题拓展阅读：

• 如何查找和删除数据库中的重复数据？
• mysql 如何删除重复的数据

如何查找和删除数据库中的重复数据？

法一:

用Group

by语瞎迅句

此查找很快的select

count(num),

max(name)

from

student

–查找表中num列重复的，列出重复的记录数，并列出他的name属性group

by

numhaving

count(num)

>;1

–按num分组后找出表中num列重复，即出现次数大于一次delete

from

student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—-

执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT

*

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

D

–D相当于First,SecondWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);—-

执行下面SQL语句后就可以删除所有DRAWING和DSNO相同且培毁重复的记录DELETE

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

DWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);法一:

用Group

by语句

此查找很快的select

count(num),

max(name)

from

student

–查找表中num列重复的，列出重复的记录数，并列出他的name属性group

by

numhaving

count(num)

>;1

–按num分组后找出表中num列重复，即出现次数大于一次delete

from

student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—-

执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT

*

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

D

–D相当于First,SecondWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);—-

执行下面SQL语句后就可以删除所有DRAWING和配神备DSNO相同且重复的记录DELETE

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

DWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);

mysql 如何删除重复的数据

首先是将数据库里边的重复记录删掉，我看网上有好多答案是这样的：

1 delete from people

2 where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

3 and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)

但其实我每次运行这条语句都是行不通的，会报错：

SQL 错误 : You can’t specify target table ‘test1’ for update in FROM clause

java.sql.SQLException: You can’t specify target table ‘test1’ for update in FROM clause

去网上查过好像是说update以及delete操作没办法跟查询操作一起做的，我看过有的更新的跟查询的一起做的好像是给查出来的那部分起个别名雹兄，然后进行更新就可以了，但是删除这个我起了别名也不对，不知道是我写错还是不行，我就跳过这个方法了。

我用的方法是：先查出数据库中的重复记录的数据中的一条，这个不难，很简单的，sql语句如下：

select * from test1 where name in (select  name from test1  group  by  name   having  count(name) > 1)

and id in (select min(id) from  test1  group by name  having count(name)>1)

结果如下：

id |name |phont |

—|||

1 |name22 |123 |

3 |name222 |123 |

5 |name2 ||

8 |123 ||

11 |name1 ||

13 |111 |1231 |

14 |112 |1232 |

这些都是不重复的，换句话说都是要保留的，不被删掉的，而其余与这些结果中name相同的应该被删掉。

也就是说将上边那个sql语句id后边加一个not ，查出来的结果就是要删掉的：结果如下

id |name |phont |

—|||

2 |name22 |123 |

4 |name222 |123 |

6 |name2 ||

7 |name2 |NULL |

9 |123 ||

10 |123 ||

12 |name1 ||

15 |111 |1233 |

16 |112 |1234 |

17 |111 |1235 |

18 |112 |1236 |

我把这些需要删掉的存到另外一个表里，然后我新建一个test2表，结构复制test1的结构就好了

1 CREATE TABLE `test2` (2   `id` int(11) NOT NULL AUTO_INCREMENT,3   `name` varchar(50) DEFAULT NULL,4   `phont` varchar(50) DEFAULT NULL,5  陪链 PRIMARY KEY (`id`)6 ) ENGINE=InnoDB DEFAULT CHARSET=utf8

然后插入语句是：

1 insert into test2(2 select * from test.test1 where name in (select  name from test.test1  group  by  name   having  count(name) > 1)

3 and id not in (select min(id) from  test.test1  group by name  having count(name)>1)

4 )

然后test2的表里的数据就是下图芦肆孙这样的：

那接下来做的就是删掉test1表里边与test2表的id相同的数据。

1 delete a.* from test1 a, test2 b where a.id = b.id ;

这样，test1里边的数据就变成了：

这样的结果就是完全不重复的，但是我还想要他们的id是连续的，而不是这样的断开的。

我的做法是将这个表的除掉id之外的所有字段查出插入到另外一个表test3中，当然，test3要设置id为自增主键，但是不插入id，让它自增，就连续了

当然要新建表test3啦，不过把上边新建的test2那个复制下来改名字为test3就好啦。

然后插入：

1 insert into test3(name, phont)2 (select name, phont from test2)

test3表里的结果就是：

这样就可以把test3改成你想要的名字，然后删掉test1和test2了，大功告成~

删除数据库中重复的数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于删除数据库中重复的数据,如何高效删除数据库中重复的数据？,如何查找和删除数据库中的重复数据？,mysql 如何删除重复的数据的信息别忘了在本站进行查找喔。

香港服务器首选树叶云，2H2G首月10元开通。
树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。