Mongodb删除重复数据

假如有以下的数据表。

db.user

{

　　account:String //账号

}

删除有重复account的记录。

首先，查找一下是否有重复的数据，也就是user表是否有重复的account.

按account进行分组，计算每个分组的记录数，记录数大于1的，就说明存在重复。

db.user.aggregate(

　　[{
　　　　$group: {_id:"$account",count:{$sum:1}}
　　},
　　{
　　　　$match: {count:{$gt:1}}
　　}])
如果查询有结果，那么说明存在重复记录。

 

那下一步做删除处理。

db.user.aggregate([{
　　$group: {

　　　　_id:"$account",

　　　　count:{$sum:1},

　　　　ids:{$addToSet: "$_id"}}, //把符合的记录的id放到一个数组里
　　},
　　{
　　　　$match: {count:{$gt:1}}
　　}
　　],

　　{ allowDiskUse: true } //该行是为了$group里的sort超出内存限制

).forEach((doc)=>{ //得到重复的结果，循环记录进行删除
　　doc.ids.shift();//保留一行记录，如果需要全部删除重复的，去掉该行
　　db.user.remove({_id:{$in:doc.ids}})//根据重复id删除指定的记录
})