Hadoop2.x伪分模式部署

      hadoop伪分布模式,只有一个节点,通常用来做测试。

一、环境准备

  • Linux网络配置已完成,可参见CentOS7网络配置
  • yum源成功挂载,可参见CentOS7本地yum源挂载
  • Linux已安装OracleJDK1.8+,可参见OracleJDK1.8安装
  • zookeeper-3.4.6.tar.gz安装包,hadoop安装包下载
  • 二、创建Hadoop用户(以后有关集群的操作都只用此用户);

  • su 到root用户下,并创建用户;
    V(VB[A4{A83V9LGSKE7S(2P
  • 三、配置SSH互相(免密登录);

  • 生成SSH密钥对(公钥/私钥),在Hadoop用户下;
    JLZW4]4DIQ9L0JA[OCX5R{O
  • 进入ssh目录;
    3AZJ@STXE[%V0K5NFTTN`BD
  • 测试ssh 主机名;
    6QAQAO3KDBMF@%8O16)@~44
  • 四、解压Hadoop安装包;

  • 在Hadoop用户家目录下创建安装目录;
    UP3Y{1~WZ_G(W}9Q3{G9P@I
  • 解压Hadoop安装包(可用xshell等工具将安装包上传到Linux);
    [UBFP{]V$UQ{2UBK_[6D}X3
  • 五、修改配置文件;

    1. 修改hadoop-env.sh,配置jdk位置;
      )9KRNZRC1PKSXD}JS2})0LL
    2. Z2L2UOA(Z2WF0E]E5WB5ENQ

    3. 修改core-site.xml;
      00W1%5)RWY8J3C4E{@7])AH
    4. ~[AJ]%6UPM(Y$UZ6NS39CVB

      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop01:9000</value>
          <!—- hadoop01:主机名,9000:端口 -->
      </property>
      
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/data/hadoop/tmp</value>
      </property>
    5. hdfs-site.xml配置;
      10)[T557AYS6UG3WRDA5WHI
    6. EZ5K7UG_E@@G(7V~4GW3BCE

      <property>
            <!-- 数据冗余一份 -->
            <name>dfs.replication</name>
            <value>1</value>
      </property>
    7. 配置Mapreduce调用方式;
      4}C8]LA2S2]HA({I@3[0O00
    8. 7882F[D2%QZX%(0@XJI%WLP

      <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
      </property>
    9. yarn有关的配置;
      TR_V6N_YS3]I[S(8O4VVDSY
    10. L7IVPQ_T58$476_MLFNIW{7

      <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop01</value>
            <!—hadoop01:主机名 -->
      </property>
      
      <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
      </property>

    六、创建Hadoop数据目录(su到root用户下);

    1. su – root
    2. }VNGM`UE7HOX6]AERBAF4CW

    七、配置系统环境变量;

    1. 在root用户下修改环境变量,并使生效;
      SN0RKLUO)0L2`X9]IXF0144
    2. )696N(_F]NUQ$CYIW]XIUHP

    八、格式化namenode节点(注意:只能格式化一次);

    1. 在hodoop用户下,格式化namenode(执行一次命令即可);
      DURA4H%J}TOC]D{JKE{3{)0
    2. OR(Q}D`@20R8VE`JCAFS~GY

    九、启动集群;

    1. 使用hadoop用户启动集群;
      A(QT{]TAXC~D[Z0OVR_S]NE

    十、验证集群是否部署成功;

    1. 从Windows访问HDFS页面;
      1469176-20190327010430989-85523107
    2. 从Windows访问yarn页面;
      1469176-20190327010432348-277668470
    3. 能出来以上界面,表明伪分布模式部署成功;

    4. 停止集集群:
      Y%XIR3YVQ6IVDSQ0~Z8N4)Q




    posted @ 2019-03-27 01:05  Lvan灬  阅读(264)  评论(0编辑  收藏  举报