hadoop安装配置

1. master下创建安装目录
   mkdir /usr/hadoop
2. 解压hadoop安装包到安装目录
   tar -zxvf /root/software/hadoop-2.7.3.tar.gz -C /usr/hadoop/
3. 配置环境变量
   vi /etc/profile

   hadoop envirment

   export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
   export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
   export PATH=$PATH:$HADOOP_HOME/bin[:$HADOOP_HOME/sbin]-->（可选，表示hadoop命令可在任何目录直接执行）

4. 不启动机器让配置文件生效：source /etc/profile
5. 进入到/usr/hadoop/hadoop-2.7.3/etc/hadoop/目录

   1. 修改hadoop-env.sh
      export JAVA_HOME=/usr/java/jdk1.8.0_171
      export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.3/etc/hadoop
   2. 编辑core-site.xml文件

      
      
      fs.default.name
      hdfs://master:9000
      
      
      hadoop.tmp.dir
      /usr/hadoop/hadoop-2.7.3/hdfs/tmp
      
      
      io.file.buffer.size
      131072
      
      
      fs.checkpoint.period
      60
      
      
      fs.checkpoint.size
      67108864
      
      

   3. 编辑yarn-site.xml文件

      
      
      yarn.resourcemanager.address
      master:18040
      
      
      yarn.resourcemanager.scheduler.address
      master:18030
      
      
      yarn.resourcemanager.webapp.address
      master:18088
      
      
      yarn.resourcemanager.resource-tracker.address
      master:18025
      
      
      yarn.resourcemanager.admin.address
      master:18141
      
      
      yarn.nodemanager.aux-services
      mapreduce_shuffle
      
      
      yarn.nodemanager.auxservices.mapreduce.shuffle.class
      org.apache.hadoop.mapred.ShuffleHandler
      
      

   4. 编辑hdfs-site.xml文件

      
      
      dfs.replication
      2
      
      
      dfs.namenode.name.dir
      file:/usr/hadoop/hadoop-2.7.3/hdfs/name
      true
      
      
      dfs.datanode.data.dir
      file:/usr/hadoop/hadoop-2.7.3/hdfs/data
      true
      
      
      dfs.namenode.secondary.http-address
      master:9001
      
      
      dfs.webhdfs.enabled
      true
      
      
      dfs.permissions
      false
      
      

   5. 编辑mapred-site.xml文件，通过复制创建该文件cp mapred-site.xml.template mapred-site.xml

      
      
      mapreduce.framework.name
      yarn
      
      

   6. 编辑slaves文件，添加主机名(覆盖原有内容)

      slave1
      slave2

   7. 新建master文件

      touch master
      添加master

6. 把master机器的hadoop安装目录复制到其他机器

   scp -r /usr/hadoop root@slave1:/usr/
   scp -r /usr/hadoop root@slave2:/usr/

7. 修改其他机器的/etc/profile文件，并生效
8. 格式化hadoop
   hadoop namenode -format
   如果集群是第一次启动，需要格式化NameNode，执行一次format就行了（注意格式化之前或者重新格式化，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
9. Hadoop启动与关闭

   1. 同步时间：ntpd服务
   2. 启动zookeeper:所有机器都启动
   3. Hadoop启动：只在master角色机器启动
      /usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
      也可以执行start-dfs.sh和start-yarn.sh这两条命令启动
   4. 查看启动状态：

      1. jps查看进程

         master下进程NameNode,SecondaryNameNode,ResourceManager
         slave下进程Datanode,NodeManager

      2. 网页查看（网址：ip地址:端口号）例：浏览器输入192.168.13.101:50070

   5. Hadoop关闭：/usr/hadoop/hadoop-2.7.3/sbin/stop-all.sh
      然后依次关闭zookeepr，关闭Linux系统