2016年5月17日
MapReduce在Map端的Combiner和在Reduce端的Partitioner
摘要： 1.Map端的Combiner. 通过单词计数WordCountApp.java的例子,如何在Map端设置Combiner... 只附录部分代码: 2.Reduce端的Partitioner. 以流量统计TrafficCountApp.java的例子示例Reduce端设置Partitioner. 只 阅读全文
posted @ 2016-05-17 22:27 SummerChill 阅读(402) 评论(1) 推荐(0)
MapReduce中使用SequenceFile的方式上传文件到集群中
摘要： HDFS上不适合存储小文件,因为如果有很多的小文件,上传到HDFS集群,每个文件都会对应一个block块,一个block块的大小默认是128M,对于很多的小文件来说占用了非常多的block数量,就会影响到内存的消耗, MapReduce处理这些文件的话也是需要很多的Map来处理. HDFS提供的小文 阅读全文
posted @ 2016-05-17 00:42 SummerChill 阅读(953) 评论(0) 推荐(0)