摘要: 参考 https://blog.csdn.net/qq_25948717/article/details/80554809 根据下图讲解 首先说两个概念:调度器和应用程序管理器 Hadoop2.x中使用的调度器是Scheduler,它的职能仅仅是根据各个应用程序的资源需求进行资源分配,如下图 再下来 阅读全文
posted @ 2019-08-15 18:13 某年某月某某人 阅读(501) 评论(0) 推荐(0)
摘要: 此过程没有在服务器搭建的具体步骤,仅有思路 zookeeper集群管控 Hadoop2.0之后,达到了元数据(用于存储NameNode寻找DataNode的信息)的实时备份,所有有两台NameNode(standby、active)。不管你Hadoop集群有多少节点,NameNode只有两个 两个N 阅读全文
posted @ 2019-08-15 16:12 某年某月某某人 阅读(122) 评论(0) 推荐(0)
摘要: 如上图,如果我HDFS中,word目录下有这四个文件,那么它能分为几个切片呢??? **** MapTask的数量=切片数量 切块也分为两种 一种是物理切块,一种是逻辑切块 前者是将文件真正的变成文件块 后者是用对象来封装每个文件块的信息,比如文件夹的起始位置、和长度。这样的来分切块的作用,假如我一 阅读全文
posted @ 2019-08-15 14:29 某年某月某某人 阅读(288) 评论(0) 推荐(0)