随笔分类 -  MapReduce

基础
MapReduce_partition
摘要：vim partititon aa 1 2bb 2 22cc 11dd 1ee 99 99 999ff 12 23 123 [hadoop@h201 ~]$ hadoop fs -cat /user/hadoop/output/part-r-0000118/06/10 17:55:02 WARN u 阅读全文
posted @ 2018-06-10 18:00 蜘蛛侠0 阅读(160) 评论(0) 推荐(0)
MapReduce_TopK
摘要：vim topk.txt a 1000b 2000c 90000d 88e 999999f 9998g 13223 /usr/jdk1.7.0_25/bin/javac TopK.java /usr/jdk1.7.0_25/bin/jar cvf tk.jar TopK*class [hadoop@ 阅读全文
posted @ 2018-06-10 16:26 蜘蛛侠0 阅读(205) 评论(0) 推荐(0)
MapReduce_MaxValue
摘要：*************setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！cleanup(),此方 阅读全文
posted @ 2018-06-10 15:26 蜘蛛侠0 阅读(173) 评论(0) 推荐(0)
MapReduce_PVUV
摘要：ip访问量及其会话量 阅读全文
posted @ 2018-04-22 20:28 蜘蛛侠0 阅读(676) 评论(0) 推荐(0)
MapReduce_Score
摘要：基础有限制的数据算平均数 阅读全文
posted @ 2018-03-25 18:56 蜘蛛侠0 阅读(213) 评论(0) 推荐(0)
MapReduce_dedup
摘要：数据去重基础 阅读全文
posted @ 2018-03-18 22:12 蜘蛛侠0 阅读(260) 评论(0) 推荐(0)
MapReduce_counter
摘要：实现简单计数过程 阅读全文
posted @ 2018-03-11 23:19 蜘蛛侠0 阅读(400) 评论(0) 推荐(0)
MapReduce_wordcount
摘要：mapreduce过程，1按block大小分片，分map,k1 v1分片地址，map端k2,v2实现分片数据计数，reduce端k3,v3计算统计词频 阅读全文
posted @ 2018-03-10 15:42 蜘蛛侠0 阅读(232) 评论(0) 推荐(0)