2013年6月2日
MapReduce 过程详解
摘要： 1：最简单的过程： Map - Reduce 2：定制了partitioner以将map的结果写到相应的分区，以供对应的reducer下载： Map - Partition - Reduce 3：增加了在本地先进性一次reduce（本地优化），减少后期网络的传输量 Map - Combine(本地r 阅读全文
posted @ 2013-06-02 23:04 九天高远 阅读(602) 评论(0) 推荐(0)
MapReduce Job详解
摘要： Job job = new Job(conf, "MaxTemperature"); job.setJarByClass(MaxTemperature.class); job.setMapperClass(MaxTemperatureMapper.class); Combiner类： 通常，每个Ma 阅读全文
posted @ 2013-06-02 19:12 九天高远 阅读(1303) 评论(0) 推荐(0)
Unsupported major.minor version 51.0解决办法 ——运行MapReduce程序找不到相关类——MapReduce中的Reduce无效
摘要： 最近重新研究MapReduce，中间出现了不少问题，看样子长时间不弄还是很容易忘记的，特此记录。 问题一：Unsupported major.minor version 51.0解决办法 我使用的是Eclipse-jee + JDK 1.6.0_24环境，结果运行MapReduce程序的时候使用时出 阅读全文
posted @ 2013-06-02 14:20 九天高远 阅读(1545) 评论(2) 推荐(0)