zookeeper搭建

zookeeper:
    分布式协同服务，负责处理分布式框架所产生的一些问题


分布式框架：
    可扩展性
    透明性
    高可靠性


分布式框架的弊端：
    不一致性：单个节点数据的缺失，处理数据
    竞态条件：多个节点同时处理一个只需要一个节点处理的数据
    死锁：      两个节点互相等待对方完成


zk为了解决问题能提供什么服务？
    
    名字服务：    标识集群中的所有节点，(节点能够向其注册并产生唯一标识)
    配置管理：    存储配置文件，以便共享
    集群管理：    添加或删除节点同时，事实更新集群信息
    领袖推选机制：    
    锁和同步服务：    当文件进行修改，会将其进行加锁，防止多用户同时写入
    高有效性数据注册：


zk：
    follower    
    leader            

    推荐配置奇数个节点：
        (n-1)/2 个节点挂掉，仍能提供服务，超过则挂掉    //奇数
        n/2    个节点挂掉，不能提供服务，        //偶数


    2888：leader独有端口，负责和follower进行通信
    3888：负责leader选举的端口

    2181：client端口


zk启动：
    zkServer.sh start    //启动zk
            stop
            status

    
    zkCli.sh        //启动本地zk客户端
    zkCli.sh -server s102:2181    //启动远程zk客户端

    zk的节点和数据，是zk的目录结构

    节点    数据
    /    'tom'
    /a/b    ...
    /aaa

    create    /a ''        //创建节点：持久节点    客户端断开不会自动删除
    create    /a -e ''    //创建节点：临时节点    客户端断开会自动删除
    create    /a -s ''    //创建节点：序列节点    在节点后加上10位的自增字段

    rmr    /a/b/c        //递归删除
    delete    /a        //不能递归

    ls /        //列出孩子节点
    stat /        //查询节点状态，不包括数据
    get /        //查询数据并返回状态
    set /        //修改节点数据


使用zk对hdfs实现自动容灾：hdfs-site.xml


<!-- =======================配置hdfs自动容灾======================= -->
 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

  <property>
   <name>ha.zookeeper.quorum</name>
   <value>s102:2181,s103:2181,s104:2181</value>
 </property>

    0、启动zk，不用启动hdfs进程
    1、配置文件，如上
    2、分发hdfs-site.xml
    3、hdfs zkfc -formatZK
    4、启动hdfs进程


 zkfc进程：zookeeper failover controller    //zk容灾管理器





初始化journalnode方法：关闭所有namenode进程
    hdfs namenode -initializeSharedEdits


hadoop ha的切换：
================================
    nn1    //s101
    nn2    //s105

    hdfs haadmin -transitionToActive [--forcemanual] nn1    //强制切换
    hdfs haadmin -transitionToStandby nn1
    hdfs haadmin -getServiceState nn1

    无法将两个namenode处于standby或active状态


resourcemanager配置高可用以及自动容灾：yarn-site.xml
==============================================
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>mycluster</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>s101</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>s105</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>s101:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>s105:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>s102:2181,s103:2181,s104:2181</value>
</property>

    0、zk保持开启，yarn不要启动
    1、配置文件，如上
    2、分发文件yarn-site.xml
    3、在/soft/hadoop/etc/hadoop下添加rm_hosts文件，内容如下
        s101
        s105

    4、修改/soft/hadoop/sbin/start-yarn.sh倒数第五行，改为
        "$bin"/yarn-daemons.sh --config $YARN_CONF_DIR --hosts rm_hosts  start resourcemanager
    
       修改/soft/hadoop/sbin/stop-yarn.sh倒数第五行，改为
        "$bin"/yarn-daemons.sh --config $YARN_CONF_DIR --hosts rm_hosts  stop resourcemanager
        

    5、分发以上三个配置文件


    6、start-yarn.sh并查看8088端口，可看出一个节点为active模式，另一个为standby



重新格式化HA模式的hadoop集群：
===========================================
    1、停止进程：
        stop-all.sh    //停止hadoop进程
        xzk.sh stop    //停止zk进程

    2、将s101-s105的临时(工作)目录删除
        xcall.sh "rm -rf ~/hadoop/*"

    3、在s102-s104节点启动journalnode    //s101
        hadoop-daemons.sh start journalnode
    
    4、格式化s101的namenode
        hdfs namenode -format

    5、将s101的工作目录分发到s105
        rsync -r ~/hadoop centos@s105:~/

    6、启动zk
    7、启动hadoop

hadoop进程：
    slave:s102 s103 s104

    s101和s105:
        namenode
        resourcemanager
        DFSZKFailoverController(zkfc)

    s102-s104:
        datanode
        nodemanager
        journalnode

zk进程
    s102-s104:
        QuorumPeerMain