摘要：
最近在学习hadoop mapreduce编程的过程中遇到一个莫名奇妙的问题。最后通过调试时发现同时使用setCombinerClass（Reducer.class） 与 setReducerClass（Reducer.class）造成的。我个人觉得这两个不能同时使用，官方给出的WordCount例 阅读全文
posted @ 2016-11-16 14:36
OnTheWay_duking
阅读(4628)
评论(2)
推荐(0)
摘要：
本文转载至： http://www.aboutyun.com/thread-7358-1-1.html hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的U 阅读全文
posted @ 2016-11-15 15:46
OnTheWay_duking
阅读(3297)
评论(0)
推荐(0)
摘要：
思路： 首先从文本读入一行数据，按空格对字符串进行切割，切割后包含学生姓名和某一科的成绩，map输出key->学生姓名 value->某一个成绩 然后在reduce里面对成绩进行遍历求和，求平均数，然后输出key->学生姓名 value->平均成绩 源数据： chines.txt english.t 阅读全文
posted @ 2016-11-15 15:35
OnTheWay_duking
阅读(4298)
评论(0)
推荐(0)
摘要：
设计思路： 使用mapreduce的默认排序，按照key值进行排序的，如果key为封装int的IntWritable类型，那么MapReduce按照数字大小对key排序，如果key为封装为String的Text类型，那么MapReduce按照字典顺序对字符串排序。 首先map阶段将输入的数字作为ke 阅读全文
posted @ 2016-11-15 12:13
OnTheWay_duking
阅读(1538)
评论(0)
推荐(0)
摘要：
实现原理分析： map函数数将输入的文本按照行读取， 并将Key--每一行的内容 输出 value--空。 reduce 会自动统计所有的key,我们让reduce输出key->输入的key value->空，这样就利用reduce自动合并相同的key的原理实现了数据去重。 源代码： 阅读全文
posted @ 2016-11-15 10:14
OnTheWay_duking
阅读(4472)
评论(0)
推荐(0)
摘要：
更多HDFS的操作请查看HDFS JAVA API http://hadoop.apache.org/docs/stable/api/index.html HDFS Users Guide http://hadoop.apache.org/docs/stable/hadoop-project-dis 阅读全文
posted @ 2016-11-14 17:19
OnTheWay_duking
阅读(2273)
评论(0)
推荐(0)
摘要：
本文转载至：http://blog.csdn.net/congcong68/article/details/42098391 一．简介 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的Java代码的MapReduce打包成jar然后在Linux上 阅读全文
posted @ 2016-11-13 20:34
OnTheWay_duking
阅读(550)
评论(0)
推荐(0)
摘要：
本文转载至：http://blog.csdn.net/sweetburden2011/article/details/8881181 一：JDK的安装 本文转载至：http://blog.csdn.net/sweetburden2011/article/details/8881181 一：JDK的安 阅读全文
posted @ 2016-11-13 19:43
OnTheWay_duking
阅读(445)
评论(0)
推荐(0)
摘要：
本文为转载，原文链接http://www.aboutyun.com/thread-6964-1-1.html 1.查找类相关信息举例当我们查看String类信息时，我们只需将鼠标放到String类，如下图会自动弹出相关信息我们单击绿色按钮,弹出下列信息2.补全代码用 alt+/ 手动控制自动提示（推 阅读全文
posted @ 2016-11-12 18:18
OnTheWay_duking
阅读(164)
评论(0)
推荐(0)
摘要：
需要下载的文件：链接：http://pan.baidu.com/s/1i5yRyuh 密码：ms91 一 下载并编译 hadoop-eclipse-plugin-2.7.3.jar 二 将hadoop-eclipse-plugin-2.7.3.jar放到myeclipse的安装目录下的plugins 阅读全文
posted @ 2016-11-12 17:14
OnTheWay_duking
阅读(9432)
评论(4)
推荐(0)
浙公网安备 33010602011771号