摘要: 前面我们学习了MapReduce编程思想和编程示例,那么本节课程同学们一起操练操练,动手完成下面的项目。项目需求一本英文书籍包含成千上万个单词或者短语,现在我们需要在大量的单词中,找出相同字母组成的所有anagrams(字谜)。数据集下面是一本英文书籍截取的一部分单词内容。猛戳此链接下载数据集ini... 阅读全文
posted @ 2016-01-20 16:52 wangzbob 阅读(1206) 评论(0) 推荐(0)
摘要: 数据源:来自互联网招聘hadoop岗位的薪资数据,其中几行示例数据如下: 美团 3-5年经验 15-30k 北京 【够牛就来】hadoop高级工程... 北信源 3-5年经验 15-20k 北京 Java高级工程师(有Hadoo... 蘑菇街 3-5年经验 10-24k 杭州 hadoop开发工程师 阅读全文
posted @ 2016-01-20 14:59 wangzbob 阅读(233) 评论(0) 推荐(0)
摘要: 从进入系统学习到现在,貌似我们还没有真正开始动手写程序,估计有些立志成为Hadoop攻城狮的小伙伴们已经有些急了。环境已经搭好,小讲也有些按捺不住了。今天,小讲就和大家一起来动手编写我们的第一个MapReduce程序。小讲曾说过,写Hadoop程序,核心就是Mapper类,Reudcer类,run(... 阅读全文
posted @ 2016-01-20 14:53 wangzbob 阅读(481) 评论(0) 推荐(0)
摘要: 分布式编程相对复杂,而Hadoop本身蒙上大数据、云计算等各种面纱,让很多初学者望而却步。可事实上,Hadoop是一个很易用的分布式编程框架,经过良好封装屏蔽了很多分布式环境下的复杂问题,因此,对普通开发者来说很容易,容易到可以照葫芦画瓢。大多数Hadoop程序的编写可以简单的依赖于一个模板及其变种... 阅读全文
posted @ 2016-01-20 11:35 wangzbob 阅读(518) 评论(0) 推荐(0)