2、Hadoop.hdfs集群

在第一篇的基础上，要解决的问题
1、NN单点故障
2、内存压力过大

解决方案：
1、多个NN将数据分片，NN管理不同路径分支的数据

 

 

 

先启动JN                
hadoop-daemon.sh  start journalnode
选择一个NN做格式化,  这样JN中的数据也可以格式化    <只有第一次搭建做，在任意一台namenode>
hdfs namenode -format
启动这个格式化的NN，以备另外一台同步 
hadoop-daemon.sh start namenode
在另外一台机器中 hdfs namenode -bootstrapStandby    同步数据
格式化ZK   hdfs zkfc -format   (为每个集群启动一个单独的znode)
start-dfs.sh

 

ZKFC 自己登陆自己，登陆其他机器

1）启动start-dfs.sh脚本的机器需要将公钥分发给其他机器，以便远程登录，启动程序
2）在HA模式下，每一个NN身边都有一个ZKFC，会用免密方式控制自己和其他NN

 Zookeeper

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1.tar.gz

# 修改 conf/zoo_sample.cfg
　　dataDir=/var/bigdata/hadoop/zk
　　....
　　server.1=node02:2888:3888
　　server.2=node03:2888:3888
　　server.3=node04:2888:3888
# 配置在每一台都需要配置 权重
　　mkdir /var/bigdata/hadoop/zk
　　echo 1 > /var/bigdata/hadoop/zk/myid
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.6.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin


# 所有ZK节点启动
　　zkServer.sh  start

1、cp zoo_example.cfg  zoo.cfg
2、Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMainv

更改版本
http://apache.fayea.com/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5.tar.gz

 

 

 

HDFS集成ZK

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node02:2181,node03:2181,node04:2181</value>
    </property>
</configuration>

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/var/bigdata/hadoop/ha/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/var/bigdata/hadoop/ha/dfs/data</value>
    </property>

    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <!-- 逻辑到物理 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>node01:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>node02:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>node01:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>node02:50070</value>
    </property>

    <!-- journalnode 配置-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/var/bigdata/hadoop/ha/dfs/jn</value>
    </property>

    <!--免密的配置 -->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/god/.ssh/id_dsa</value>
    </property>

    <!-- 开启HA -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

</configuration>

1、先启动所有的journalnode
　　hadoop-daemon.sh start journalnode
--------hdfs-------------
2、随便选一台NN
　　hdfs namenode -format
3、启动第一个NN
　　hadoop-daemon.sh start namenode
4、其他NN同步
　　hdfs namenode -bootstrapStandby
-------zkfc--------------
5、在所有ZK节点，格式化;（创建集群对应目录树）
　　hdfs zkfc -format
--------start-------------
6、在其中一个NN
　　start-dfs.sh　　启动nn,dn,zkfc(无法控制)

 

 

权限

 

useradd god
passwd god
chown -R god:god /var/bigdata/hadoop-3.6.1/