2019年11月21日
HA工作机制及namenode向QJM写数据流程
摘要： HA工作机制 （配置HA高可用传送门：https://www.cnblogs.com/zhqin/p/11904317.html） HA：高可用（7 24小时不中断服务） 主要的HA是针对集群的master节点的，即namenode和resourcemanager，毕竟DataNode挂掉之后影响 阅读全文
posted @ 2019-11-21 16:19 craz_cat 阅读(296) 评论(0) 推荐(0)
ZooKeeper安装配置
摘要： 1.什么是ZooKeeper？ Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 注意，这是一个协调平台，不是管理平台。类似于红绿灯，可以协调帮助道路通畅。 ZooKeeper起到了一个协调各个框架的作用。它并不是直接为我们的数据提供服务。 ZooKeeper从设 阅读全文
posted @ 2019-11-21 15:48 craz_cat 阅读(574) 评论(0) 推荐(0)
配置HDFS的HA
摘要： 配置前准备： 配置hadoop 配置ZooKeeper，传送门：https://www.cnblogs.com/zhqin/p/11906106.html 安装配置好hadoop和ZooKeeper之后，接下来开始正式配置HA： 1、在/opt下创建ha文件夹 sudo mkdir ha 2、更改h 阅读全文
posted @ 2019-11-21 11:12 craz_cat 阅读(296) 评论(0) 推荐(0)
HA工作机制
摘要： HA工作机制 HA：高可用（7 24小时不中断服务） 主要的HA是针对集群的master节点的，即namenode和resourcemanager，毕竟DataNode挂掉之后影响 不是特别大，重启就好了。 HDFS的HA HDFS HA功能通过配置Active/Standby两个NameNodes 阅读全文
posted @ 2019-11-21 11:09 craz_cat 阅读(1940) 评论(0) 推荐(0)
hadoop及NameNode和SecondaryNameNode工作机制
摘要： hadoop及NameNode和SecondaryNameNode工作机制 1.hadoop组成 Common MapReduce Yarn HDFS （1）HDFS namenode：存放目录，最重要的（主机） datanode：存放数据。（从机） 2namenode：“助手” （2）YARN R 阅读全文
posted @ 2019-11-21 11:01 craz_cat 阅读(440) 评论(0) 推荐(0)