2020年5月24日
MapReduce 实现分片取TopN 再Reduce取TopN
摘要： ZX: 在Hadoop的map阶段 , 每个map任务都可以执行特殊的任务 , 当然 , 也包括取每个分片中最大的几个值. 然后汇总 , 再取TopN 这样的好处是 , 如果有2万个分片 , 2亿条数据 ,在Map完之后 假如是取Top10 , 那么经过Map阶段的Top10,最后只用处理2万X10 阅读全文
posted @ 2020-05-24 11:27 挪威森林猫Zzz 阅读(698) 评论(0) 推荐(0)