摘要：HadoopHA 关于HA 由于集群中只有一个NN和RM,无法保证该节点不挂掉,所以单节点存在安全问题。 HadoopHA主要是为了消除单点故障，我要在集群中启动备用的NN,RM。 HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 HA采用paxos协议,要求必须搭建在奇数台 阅读全文

摘要：Yarn的架构 ResourceManager：资源管理,主要负责整个yarn的资源调度与分配。 处理客户端的任务请求。 监控NodeManager。 启动或监控ApplicationMaster。 负责资源的分配与调度。 NodeManager：节点管理器,主要负责单个节点上的资源并向Resour 阅读全文

摘要：MapReduce架构 MapReduce的两个阶段：Map映射、Reduce归约。 Map阶段：对数据进行处理。 Reduce阶段：对Map结果进行汇总。 Shuffle过程：'map'方法之后,'reducer'方法之前,是Map阶段和Reduce阶段的中间过程。 不同阶段对应的Task： Ma 阅读全文

摘要：HDFS HDFS 概述 Hadoop Distributed File System：分布式文件系统，用于存储文件，通过目录树定位文件。 优点： 高容错性： 1.数据保存多个副本，提高容错性。 2.某个副本丢失后，可以根于预设置的副本数自动回复。 高可靠性： 通过多副本机制提高可靠性。 大数据量支 阅读全文

摘要：Hadoop框架 1.X MapReduce、HDFS、Common 2.X MapReduce、Yarn、HDFS、Common MapReduce: 1.X 计算+资源调度 2.X 计算 Yarn：资源调度 HDFS：文件存储 Common：辅助工具 Hadoop1.X 存在的问题: <1>Na 阅读全文