2018年9月7日
Mapreduce实例——去重
摘要： "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 MaprReduce去重流程如下图所示： 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。在MapReduce 阅读全文
posted @ 2018-09-07 17:02 夏延 阅读(4202) 评论(0) 推荐(0)