spark安装--hadoop-2.7.2 安装

                      　　   　　hadoop-2.7.2  安装　　

　　
　　　　　　以下操作基于 机器DAS02 、 用户 hadoop/hadoop

---

Linux环境下（ubuntu）如何编译 hadoop2.7  http://www.cnblogs.com/JustSunh/articles/5818007.html
        spark安装 - 安装ssh  http://www.cnblogs.com/JustSunh/articles/5817843.html
    spark安装步骤- 安装hadoop  http://www.cnblogs.com/JustSunh/articles/5817911.html
        spark2.0 安装配置  http://www.cnblogs.com/JustSunh/articles/5817917.html
        spark2.0 安装测试  http://www.cnblogs.com/JustSunh/articles/5818020.html

---

一、前提说明

前提：完成ssh配置，参考文档 《ssh安装配置》

链接：http://www.cnblogs.com/JustSunh/articles/5817843.html

节点机器：
    master:   172.21.30.22 DAS02   hadoop/hadoop
    slave1 :  172.21.30.27 CESHI   hadoop/hadoop
    slave2 :  172.21.30.23 OTA     hadoop/hadoop

Linux 环境变量：每台独立配置 /etc/profile （以 DAS02 为例）

export JAVA_HOME=/app/jdk1.8.0_73
export JRE_HOME=/app/jdk1.8.0_73/jre
export PATH=$PATH:/app/jdk1.8.0_73/bin
export CLASSPATH=./:/app/jdk1.8.0_73/lib:/app/jdk1.8.0_73/jre/lib

export HADOOP_HOME=/app/hadoop-2.7.2
xport HADOOP_COMMON_LIB_NATIVE_DIR=/app/hadoop-2.7.2/lib/native
export HADOOP_OPTS="-Djava.library.path=/app/hadoop-2.7.2/lib"
export PATH=$PATH:$HADOOP_HOME/bin

#export SCALA_HOME=/app/scala-2.10.4
#export PATH=$PATH:$SCALA_HOME/bin
#export SPARK_HOME=/app/spark-2.0.0-bin-hadoop2.7   
#export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

二 、步骤详情

1. 解压安装：

~$ tar -zxvf hadoop-2.7.2.tar.gz  
~$ mv hadoop-2.7.2 /app/

2. 挂载：sudo chown -R hadoop:hadoop /app/hadoop-2.7.2

3. hadoop配置

3.1  hadoop-env.sh

设定 hadoop-env.sh(Java 安装路径)

进入hadoop目录，打开conf目录下到hadoop-env.sh，添加以下信息：

export JAVA_HOME=/app/jdk1.8.0_73
export HADOOP_HOME=/app/hadoop-2.7.2
export HADOOP_COMMON_LIB_NATIVE_DIR=/app/hadoop-2.7.2/lib/native
export HADOOP_OPTS="-Djava.library.path=/app/hadoop-2.7.2/lib"
export PATH=$PATH:/app/hadoop-2.7.2/bin


~$ source /app/hadoop-2.7.2/etc/hadoop-env.sh  使文件生效

3.2 core-site.xml

修改/home/yy/hadoop-2.7.1/etc/hadoop下的配置文件

修改core-site.xml，加上

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://DAS02:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/app/hadoop-2.7.2/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

3.3 hdfs-site.xml
    修改hdfs-site.xml，加上

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/app/hadoop-2.7.2/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/app/hadoop-2.7.2/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>DAS02:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>

3.4 mapred-site.xml

修改mapred-site.xml，加上

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>DAS02:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>DAS02:19888</value>
    </property>

3.5 yarn-site.xml

 修改yarn-site.xml，加上

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>DAS02:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>DAS02:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>DAS02:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>DAS02:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>DAS02:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
    

4.分发到从属节点 CESHI 、OTA
   
  进入/app/hadoop-2.7.2/etc/hadoop/slaves

  添加
      CESHI
      OTA
   执行命令：

   scp -r /app/hadoop-2.7.2 hadoop@172.21.30.27:/app/
   scp -r /app/hadoop-2.7.2 hadoop@172.21.30.23:/app/


5. 启动:

  执行命令 /app/hadoop-2.7.2/sbin/start-all.sh

6. 运行wordCount，执行统计任务:

    bin/hdfs namenode-format
    bin/hdfs dfs -mkdir /test
    bin/hdfs dfs -ls /
    bin/hdfs dfs -put /home/hadoop/hello.txt /test/
    bin/hdfs dfs -ls /test/
    hadoop jar /app/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output

6. WEB-UI 查看

http://172.21.30.22:8088/cluster