hive数据库如何去重,去除相同的一模一样的数据
问题:发现存在一张表中存在相同的两行数据
得到:仅仅保留一行数据
方法:
原理-我们通过
1 select count (字段1,字段2) from 表1; 2 3 结果 200条数据 4 5 select count (distinct 字段1,字段2) from 表1; 6 7 结果 100条数据 8 9 相当于后者可以实现查出来去重后的数据 10 11 create table 表1_bak as select distinct 字段1,字段2 from 表1; --备份表数据 12 13 delete from 表1; 14 15 insert into 表1 select * from 表1_bak;
作者:少帅
出处:少帅的博客--http://www.cnblogs.com/wang3680
您的支持是对博主最大的鼓励,感谢您的认真阅读。
本文版权归作者所有,欢迎转载,但请保留该声明。
支付宝 微信