摘要：
WordCount是hadoop里hello word级的第一个程序，作为一个萌新，我也来跑一跑这个，附带针对新人的说明。 所谓WordCount，就是统计一个或几个文档中相同的单词各有多少个。 首先要有关于MapReduce的基础，用我自己通俗的话来说一下，MapReduce是一个用来计算大型数据 阅读全文
posted @ 2017-08-08 19:55
爱炒蛋的洋葱
阅读(246)
评论(0)
推荐(0)
摘要：
策略模式是对算法的包装，是把使用算法的责任和算法本身分割开来，委派给不同的对象管理，我个人的理解是，具有相同行为不同的行为模式，比如走路，有人速度3m/s，有人100m/s，把他们的具体行走和对象本身走路的行为分开，这样即使行走的算法变了，只要改改算法类，对象类就不用改了。 我们还是玩红警，现在已经 阅读全文
posted @ 2017-08-07 10:03
爱炒蛋的洋葱
阅读(272)
评论(0)
推荐(0)
摘要：
简单工厂模式，就是有一个工厂类，负责生成所需要的实体类。 这让我想起了红警，在红警里，如果需要造一辆坦克，需要先有一个战车工厂，在坦克工厂里选择坦克类型，然后坦克工厂才会生成所需要的坦克。 不多说直接上代码。 首先有个坦克类Panzer（哈哈我的侠盗猎车似乎就记得这么一个作弊秘籍了） 有两个类型的坦 阅读全文
posted @ 2017-08-01 20:55
爱炒蛋的洋葱
阅读(467)
评论(0)
推荐(0)
摘要：
一.NameNode，SeconderyNamenode，DataNode NameNode，DataNode，SeconderyNamenode都是进程，运行在节点上。 1.NameNode：hadoop的主节点， 保存HDFS的元数据信息 1.fsimage - 它是在NameNode启动时对整 阅读全文
posted @ 2017-07-31 15:13
爱炒蛋的洋葱
阅读(302)
评论(0)
推荐(0)
摘要：
本次基于Hadoop2.6版本进行分布式配置，Linux系统是基于CentOS6.5 64位的版本。在此设置一个主节点和两个从节点。 准备3台虚拟机，分别为： 主机名 IP地址 master 192.168.80.10 slave1 192.168.80.11 slave2 192.168.80.1 阅读全文
posted @ 2017-07-31 08:54
爱炒蛋的洋葱
阅读(468)
评论(0)
推荐(0)
摘要：
首先先不看理论，搭建起环境之后再看； 搭建伪分布式是为了模拟环境，调试方便。 电脑是win10，用的虚拟机VMware Workstation 12 Pro，跑的Linux系统是centos6.5 ，装的hadoop2.6.0，jdk1.8； 1.准备工作 准备工作：把JDK和Hadoop安装包上传 阅读全文
posted @ 2017-07-30 10:54
爱炒蛋的洋葱
阅读(300)
评论(0)
推荐(0)
浙公网安备 33010602011771号