mysql删除重复的数据并保持唯一性

今天在爬虫入库的时候发现忘记设置了唯一性,导致有很多的数据都重复了

所以我今天特意百度查询,找到了一个非常好的sql语句,可以完美的解决这个问题

DELETE news_history 
FROM
	news_history,
	( SELECT min( id ) id, title, url FROM news_history GROUP BY title, url HAVING count(*) > 1 ) t2 
WHERE
	news_history.title = t2.title 
	AND news_history.url = t2.url 
	AND news_history.id > t2.id;

 

这个sql语句的意思就是删除重复的数据并保留id最小的哪一个,并创建一个临时表来查询去重。

然后设置唯一性的话,因为我的url是惟一的,所以给他设置唯一性的索引就可以了,下面图片的第二个是唯一性的索引

然后使用 insert ignore 就完美的解决了

删除重复的数据自增id就不是连续的了,看起来非常不友好,我在上一篇博客有解决方法,有兴趣的可以看一下

posted @ 2019-10-09 11:01  胡先生爱大家  阅读(460)  评论(0编辑  收藏  举报