摘要：
本文以手机流量统计为例： 日志中包含下面字段 现在需要统计手机的上行数据包，下行数据包，上行总流量，下行总流量。 分析：可以以手机号为key 以上4个字段为value传传递数据。 这样则需要自己定义一个数据类型，用于封装要统计的4个字段，在map 与reduce之间传递和shuffle 注：作为ke 阅读全文
posted @ 2016-02-02 17:18
nele
阅读(1244)
评论(0)
推荐(0)
摘要：
package org.apache.hadoop.mapreduce.io; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.W 阅读全文
posted @ 2016-02-02 15:29
nele
阅读(292)
评论(0)
推荐(0)
摘要：
/*** * MapReduce Module * @author nele * */ public class ModuleMapReduce extends Configured implements Tool { // map class /** * * @author nele * TODO 阅读全文
posted @ 2016-02-02 14:54
nele
阅读(354)
评论(0)
推荐(0)
摘要：
1.写好的程序直接在hadoop集群里面执行 2.如果需要在本地调试，需要注释掉mapred-site.xml <configuration> <!-- <property> <name>mapreduce.framework.name</name> <value>yarn</value> </pr 阅读全文
posted @ 2016-02-02 12:55
nele
阅读(598)
评论(0)
推荐(0)
浙公网安备 33010602011771号