2018年11月14日
运行hadoop自带的wordcount例子程序
摘要： 1.准备文件 [root@master ~]# cat input.txt hello java hello python hello c hello java hello js hello html hello java [root@master ~]# hadoop fs -mkdir /inp 阅读全文
posted @ 2018-11-14 23:07 413Xiaol 阅读(1313) 评论(0) 推荐(0)
配置YARN
摘要： 1.配置yarn-site.xml(所有节点) 路径： /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml 配置项： <property> <!-- 指明resourcemanager在什么地方 --> <name>yarn.resourcemanage 阅读全文
posted @ 2018-11-14 23:06 413Xiaol 阅读(2389) 评论(0) 推荐(0)
分布式计算hadoop三大组件
摘要： 设计原则：移动计算，而不是移动数据 计算层：Map/Reduce调度层：YARN数据层：HDFS 这三层之间没有必然的依赖性，只是经常这么搭配，而且都是hadoop那个包里一起安装的，三层都可以独立运行，某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource 阅读全文
posted @ 2018-11-14 23:02 413Xiaol 阅读(690) 评论(0) 推荐(0)