摘要：
一、安装hadoop、HA及配置journalnode 实现namenode HA 实现resourcemanager HA namenode节点之间通过journalnode同步元数据 首先下载需要版本的hadoop，我用的版本是hadoop-2.9.1 安装到5台机器上 master1 mast 阅读全文
posted @ 2020-02-28 21:21
技术研究与问题解决
阅读(232)
评论(0)
推荐(0)
摘要：
在搭好HA集群之后，想测试一下集群的高可用性，于是先把active的namenode给停掉： hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -getServiceState master1 查 阅读全文
posted @ 2020-02-28 18:20
技术研究与问题解决
阅读(967)
评论(0)
推荐(1)
摘要：
假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下： hadoop01：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nod 阅读全文
posted @ 2020-02-28 16:45
技术研究与问题解决
阅读(341)
评论(0)
推荐(0)
摘要：
查看CentOS7 监听端口命令：ss -nal 阅读全文
posted @ 2020-02-28 16:37
技术研究与问题解决
阅读(2237)
评论(0)
推荐(0)
摘要：
NameNode之间共享数据（NFS 、Quorum Journal Node（用得多）） 两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。stan 阅读全文
posted @ 2020-02-28 13:33
技术研究与问题解决
阅读(651)
评论(0)
推荐(0)
摘要：
前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What i 阅读全文
posted @ 2020-02-28 10:45
技术研究与问题解决
阅读(325)
评论(0)
推荐(0)
摘要：
CentOS 7.0默认使用的是firewall作为防火墙 查看防火墙状态 firewall-cmd --state 1 停止firewall systemctl stop firewalld.service 1 禁止firewall开机启动 systemctl disable firewalld. 阅读全文
posted @ 2020-02-28 09:52
技术研究与问题解决
阅读(119)
评论(0)
推荐(0)
浙公网安备 33010602011771号