随笔分类 -  hadoop

mapreduce实现分组求最大
摘要：package cn.itcastcat.bigdata.secondarysort; import org.apache.hadoop.io.WritableComparable; import org.apache.hadoop.io.WritableComparator; /** * 利用reduce端的GroupingComparator来实现将一组bean看成相同的key * ... 阅读全文

posted @ 2018-05-06 16:55 huodaihao 阅读(232) 评论(0) 推荐(0)

mapreduce实现社交中共同好友
摘要：测试数据中给了一个单向的一个用户有哪些好友， A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I, 阅读全文

posted @ 2018-05-06 09:55 huodaihao 阅读(349) 评论(0) 推荐(0)

导航