hadoop安装配置

1. master下创建安装目录
   mkdir /usr/hadoop
2. 解压hadoop安装包到安装目录
   tar -zxvf /root/software/hadoop-2.7.3.tar.gz -C /usr/hadoop/
3. 配置环境变量
   vi /etc/profile

   #hadoop envirment
   export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
   export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
   export PATH=$PATH:$HADOOP_HOME/bin[:$HADOOP_HOME/sbin]-->（可选，表示hadoop命令可在任何目录直接执行）
   

4. 不启动机器让配置文件生效：source /etc/profile
5. 进入到/usr/hadoop/hadoop-2.7.3/etc/hadoop/目录

   1. 修改hadoop-env.sh
      export JAVA_HOME=/usr/java/jdk1.8.0_171
      export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.3/etc/hadoop
   2. 编辑core-site.xml文件

      <configuration>
          <property>
              <name>fs.default.name</name>
              <value>hdfs://master:9000</value>
          </property>
      	   <property>
              <name>hadoop.tmp.dir</name>
              <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
          </property>
          <property>
              <name>io.file.buffer.size</name>
              <value>131072</value>
      	   </property>
      	   <property>
              <name>fs.checkpoint.period</name>
              <value>60</value>
          </property>
      	   <property>
              <name>fs.checkpoint.size</name>
              <value>67108864</value>
          </property>
      </configuration>
      

   3. 编辑yarn-site.xml文件

      <configuration>
          <property>
              <name>yarn.resourcemanager.address</name>
              <value>master:18040</value>
          </property>
          <property>
              <name>yarn.resourcemanager.scheduler.address</name>
              <value>master:18030</value>
          </property>
          <property>
              <name>yarn.resourcemanager.webapp.address</name>
              <value>master:18088</value>
          </property>
          <property>
              <name>yarn.resourcemanager.resource-tracker.address</name>
              <value>master:18025</value>
          </property>
          <property>
              <name>yarn.resourcemanager.admin.address</name>
              <value>master:18141</value>
          </property>
          <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
          </property>
          <property>
              <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
              <value>org.apache.hadoop.mapred.ShuffleHandler</value>
          </property>
      </configuration>
      

   4. 编辑hdfs-site.xml文件

      </configuration>
          <property>
              <name>dfs.replication</name>
              <value>2</value>
          </property>
          <property>
              <name>dfs.namenode.name.dir</name>
              <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
              <final>true</final>
          </property>
          <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
              <final>true</final>
          </property>
          <property>
              <name>dfs.namenode.secondary.http-address</name>
              <value>master:9001</value>
          </property>
          <property>
              <name>dfs.webhdfs.enabled</name>
              <value>true</value>
          </property>
          <property>
              <name>dfs.permissions</name>
              <value>false</value>
          </property>
      </configuration>
      

   5. 编辑mapred-site.xml文件，通过复制创建该文件cp mapred-site.xml.template mapred-site.xml

      <configuration>
          <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
          </property>
      </configuration>
      

   6. 编辑slaves文件，添加主机名(覆盖原有内容)

      slave1
      slave2

   7. 新建master文件

      touch master
      添加master

6. 把master机器的hadoop安装目录复制到其他机器

   scp -r /usr/hadoop root@slave1:/usr/
   scp -r /usr/hadoop root@slave2:/usr/

7. 修改其他机器的/etc/profile文件，并生效
8. 格式化hadoop
   hadoop namenode -format
   如果集群是第一次启动，需要格式化NameNode，执行一次format就行了（注意格式化之前或者重新格式化，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
9. Hadoop启动与关闭

   1. 同步时间：ntpd服务
   2. 启动zookeeper:所有机器都启动
   3. Hadoop启动：只在master角色机器启动
      /usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
      也可以执行start-dfs.sh和start-yarn.sh这两条命令启动
   4. 查看启动状态：

      1. jps查看进程

         master下进程NameNode,SecondaryNameNode,ResourceManager
         slave下进程Datanode,NodeManager
         

      2. 网页查看（网址：ip地址:端口号）例：浏览器输入192.168.13.101:50070

   5. Hadoop关闭：/usr/hadoop/hadoop-2.7.3/sbin/stop-all.sh
      然后依次关闭zookeepr，关闭Linux系统