随笔分类 -  MapReduce

mapreduce 自定义数据类型的简单的应用
摘要：本文以手机流量统计为例： 日志中包含下面字段 现在需要统计手机的上行数据包，下行数据包，上行总流量，下行总流量。 分析：可以以手机号为key 以上4个字段为value传传递数据。 这样则需要自己定义一个数据类型，用于封装要统计的4个字段，在map 与reduce之间传递和shuffle 注：作为ke 阅读全文
posted @ 2016-02-02 17:18 nele 阅读(1241) 评论(0) 推荐(0)
自定义MapReduce的类型
摘要：package org.apache.hadoop.mapreduce.io; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.W 阅读全文
posted @ 2016-02-02 15:29 nele 阅读(288) 评论(0) 推荐(0)
mapreduce 模板
摘要：/*** * MapReduce Module * @author nele * */ public class ModuleMapReduce extends Configured implements Tool { // map class /** * * @author nele * TODO 阅读全文
posted @ 2016-02-02 14:54 nele 阅读(352) 评论(0) 推荐(0)
mapreduce 本地调试需要注意的问题
摘要：1.写好的程序直接在hadoop集群里面执行 2.如果需要在本地调试，需要注释掉mapred-site.xml <configuration> <!-- <property> <name>mapreduce.framework.name</name> <value>yarn</value> </pr 阅读全文
posted @ 2016-02-02 12:55 nele 阅读(594) 评论(0) 推荐(0)