摘要: YARN:资源调度平台 YARN的调度器 可以这样理解,Hadoop相当于一台虚拟计算机(由多台计算机构造的集群),那么HDFS就是这台虚拟计算机的文件系统,管理磁盘资源;而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序(上一节跑的PI和wordcount两个应 阅读全文
posted @ 2018-11-20 13:53 palyer 阅读(498) 评论(0) 推荐(0) 编辑
摘要: MapReduce介绍本节将介绍Hadoop的分布式计算框架:MapReduce。 MapReduce来历MapReduce最早来源于谷歌公司的一篇学术论文,是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法,当时主要是为了解决其搜索引擎中大规模网页数据的并行化处理。但由于Ma 阅读全文
posted @ 2018-11-20 12:14 palyer 阅读(216) 评论(0) 推荐(0) 编辑
摘要: yarn命令的用法 classpath 使用: yarn classpath 打印需要得到Hadoop的jar和所需要的lib包路径 查看节点列表 查看节点状况 先停止YARN,然后通过yarn命令来启动resourcemanager和nodemanager JPS命令,已经没有YARN的相关服务了 阅读全文
posted @ 2018-11-20 11:57 palyer 阅读(1043) 评论(0) 推荐(0) 编辑