hadoop2.2.0 centos 编译安装详解

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

我的环境是在虚拟机中配置的，Hadoop集群中包括4个节点：1个Master，2个Salve，节点之间局域网连接，可以相互ping通。

Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode 和TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机，还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器（可通过配置文件修改备用机器数）。

注意：由于hadoop要求所有机器上hadoop的部署目录结构要求相同（因为在启动时按与主节点相同的目录启动其它任务节点），并且都有一个相同的用户名账户。参考各种文档上说的是所有机器都建立一个hadoop用户，使用这个账户来实现无密码认证。这里为了方便，分别在三台机器上都重新建立一个hadoop用户。

搭建环境:Centos x 6.4 64bit

1、安装JDK

我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7- downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量,

vi /etc/profile

注：这里有的人喜欢配置在当前用户里，我这里是配置的全局。

export PATH  
export JAVA_HOME=/opt/jdk1.7  
export PATH=$PATH:$JAVA_HOME/bin  
source /etc/profile

测试下JDK是否安装成功: java -version

    java version "1.7.0_45"  
    Java(TM) SE Runtime Environment (build 1.7.0_45-b18)  
    Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

2、编译前的准备(maven)

maven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的就可以了

  wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip

解压文件后，同样在/etc/profie里配置环境变量

 export MAVEN_HOME=/opt/maven3.1.1  
 export PATH=$PATH:$MAVEN_HOME/bin

验证配置是否成功: mvn -version

    Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800)  
    Maven home: /opt/maven3.1.1  
    Java version: 1.7.0_45, vendor: Oracle Corporation  
    Java home: /opt/jdk1.7/jre  
    Default locale: en_US, platform encoding: UTF-8  
    OS name: "linux", version: "2.6.32-358.el6.x86_64", arch: "amd64", family: "unix"

3、编译hadoop

这个地方你将会遇到各式各样的头疼问题

首先官方下载hadoop源码

 wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz

如果是你32bit的机器，可以直接下载官方已经编译好的包，64bit的机子跑编译好的包跑不了。

由于maven国外服务器可能连不上，先给maven配置一下国内镜像，在maven目录下，conf/settings.xml,在<mirrors></mirros>里添加，原本的不要动

<mirror>  
         <id>nexus-osc</id>  
          <mirrorOf>*</mirrorOf>  
      <name>Nexusosc</name>  
      <url>http://maven.oschina.net/content/groups/public/</url>  
 </mirror>

同样，在<profiles></profiles>内新添加

　　<profile>  
           <id>jdk-1.7</id>  
           <activation>  
             <jdk>1.7</jdk>  
           </activation>  
           <repositories>  
             <repository>  
               <id>nexus</id>  
               <name>local private nexus</name>  
               <url>http://maven.oschina.net/content/groups/public/</url>  
               <releases>  
                 <enabled>true</enabled>  
               </releases>  
               <snapshots>  
                 <enabled>false</enabled>  
               </snapshots>  
             </repository>  
           </repositories>  
           <pluginRepositories>  
             <pluginRepository>  
               <id>nexus</id>  
              <name>local private nexus</name>  
               <url>http://maven.oschina.net/content/groups/public/</url>  
               <releases>  
                 <enabled>true</enabled>  
               </releases>  
               <snapshots>  
                 <enabled>false</enabled>  
               </snapshots>  
             </pluginRepository>  
           </pluginRepositories>  
 　　</profile>

编译clean

tar -xzvf hadoop-2.2.0-src.tar.gz 
cd hadoop2.2.0-src  
mvn clean install -DskipTests

发现异常

    [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]  
    [ERROR]   
    [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.  
    [ERROR] Re-run Maven using the -X switch to enable full debug logging.  
    [ERROR]   
    [ERROR] For more information about the errors and possible solutions, please read the following articles:  
    [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException  
    [ERROR]   
    [ERROR] After correcting the problems, you can resume the build with the command  
    [ERROR]   mvn <goals> -rf :hadoop-common

hadoop2.2.0编译需要protoc2.5.0的支持，所以还要下载protoc，下载地址:https://code.google.com/p/protobuf/downloads/list，要下载2.5.0版本噢

对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 如果已经安装的可以忽略

    yum install gcc  
    yum install gcc-c++  
    yum install make

安装protoc

    tar -xvf protobuf-2.5.0.tar.bz2  
    cd protobuf-2.5.0  
    ./configure --prefix=/opt/protoc/  
    make && make install

安装完配置下环境变量，

vi + /etc/profile  

export PROTOC_HOME=/opt/protoc/  
export PATH=$PATH:$PROTOC_HOME/bin

使配置文件生效： source /etc/profile

别急，还不要着急开始编译安装，不然又是各种错误,需要安装cmake,openssl-devel,ncurses-devel依赖

    yum install cmake  
    yum install openssl-devel  
    yum install ncurses-devel

目前的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:
[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle
[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found

Patch :https://issues.apache.org/jira/browse/HADOOP-10110

ok,现在可以进行编译了，

mvn package -Pdist,native -DskipTests -Dtar

现在可以拿出你的手机，玩会游戏了，慢慢等吧！

    [INFO] ------------------------------------------------------------------------  
    [INFO] Reactor Summary:  
    [INFO]   
    [INFO] Apache Hadoop Main ................................ SUCCESS [3.709s]  
    [INFO] Apache Hadoop Project POM ......................... SUCCESS [2.229s]  
    [INFO] Apache Hadoop Annotations ......................... SUCCESS [5.270s]  
    [INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.388s]  
    [INFO] Apache Hadoop Project Dist POM .................... SUCCESS [3.485s]  
    [INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.655s]  
    [INFO] Apache Hadoop Auth ................................ SUCCESS [7.782s]  
    [INFO] Apache Hadoop Auth Examples ....................... SUCCESS [5.731s]  
    [INFO] Apache Hadoop Common .............................. SUCCESS [1:52.476s]  
    [INFO] Apache Hadoop NFS ................................. SUCCESS [9.935s]  
    [INFO] Apache Hadoop Common Project ...................... SUCCESS [0.110s]  
    [INFO] Apache Hadoop HDFS ................................ SUCCESS [1:58.347s]  
    [INFO] Apache Hadoop HttpFS .............................. SUCCESS [26.915s]  
    [INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [17.002s]  
    [INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [5.292s]  
    [INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.073s]  
    [INFO] hadoop-yarn ....................................... SUCCESS [0.335s]  
    [INFO] hadoop-yarn-api ................................... SUCCESS [54.478s]  
    [INFO] hadoop-yarn-common ................................ SUCCESS [39.215s]  
    [INFO] hadoop-yarn-server ................................ SUCCESS [0.241s]  
    [INFO] hadoop-yarn-server-common ......................... SUCCESS [15.601s]  
    [INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [21.566s]  
    [INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [4.754s]  
    [INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [20.625s]  
    [INFO] hadoop-yarn-server-tests .......................... SUCCESS [0.755s]  
    [INFO] hadoop-yarn-client ................................ SUCCESS [6.748s]  
    [INFO] hadoop-yarn-applications .......................... SUCCESS [0.155s]  
    [INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [4.661s]  
    [INFO] hadoop-mapreduce-client ........................... SUCCESS [0.160s]  
    [INFO] hadoop-mapreduce-client-core ...................... SUCCESS [36.090s]  
    [INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [2.753s]  
    [INFO] hadoop-yarn-site .................................. SUCCESS [0.151s]  
    [INFO] hadoop-yarn-project ............................... SUCCESS [4.771s]  
    [INFO] hadoop-mapreduce-client-common .................... SUCCESS [24.870s]  
    [INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [3.812s]  
    [INFO] hadoop-mapreduce-client-app ....................... SUCCESS [15.759s]  
    [INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [6.831s]  
    [INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [8.126s]  
    [INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [2.320s]  
    [INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [9.596s]  
    [INFO] hadoop-mapreduce .................................. SUCCESS [3.905s]  
    [INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [7.118s]  
    [INFO] Apache Hadoop Distributed Copy .................... SUCCESS [11.651s]  
    [INFO] Apache Hadoop Archives ............................ SUCCESS [2.671s]  
    [INFO] Apache Hadoop Rumen ............................... SUCCESS [10.038s]  
    [INFO] Apache Hadoop Gridmix ............................. SUCCESS [6.062s]  
    [INFO] Apache Hadoop Data Join ........................... SUCCESS [4.104s]  
    [INFO] Apache Hadoop Extras .............................. SUCCESS [4.210s]  
    [INFO] Apache Hadoop Pipes ............................... SUCCESS [9.419s]  
    [INFO] Apache Hadoop Tools Dist .......................... SUCCESS [2.306s]  
    [INFO] Apache Hadoop Tools ............................... SUCCESS [0.037s]  
    [INFO] Apache Hadoop Distribution ........................ SUCCESS [21.579s]  
    [INFO] Apache Hadoop Client .............................. SUCCESS [7.299s]  
    [INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [7.347s]  
    [INFO] ------------------------------------------------------------------------  
    [INFO] BUILD SUCCESS  
    [INFO] ------------------------------------------------------------------------  
    [INFO] Total time: 11:53.144s  
    [INFO] Finished at: Fri Nov 22 16:58:32 CST 2013  
    [INFO] Final Memory: 70M/239M  
    [INFO] ------------------------------------------------------------------------

直到看到上面的内容那就说明编译完成了。

编译后的路径在:hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0

    [root@localhost bin]# ./hadoop version  
    Hadoop 2.2.0  
    Subversion Unknown -r Unknown  
    Compiled by root on 2013-11-22T08:47Z  
    Compiled with protoc 2.5.0  
    From source with checksum 79e53ce7994d1628b240f09af91e1af4  
    This command was run using /data/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

可以看出hadoop的版本

    [root@localhost hadoop-2.2.0]# file lib//native/*  
    lib//native/libhadoop.a:        current ar archive  
    lib//native/libhadooppipes.a:   current ar archive  
    lib//native/libhadoop.so:       symbolic link to `libhadoop.so.1.0.0'  
    lib//native/libhadoop.so.1.0.0: <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped  
    lib//native/libhadooputils.a:   current ar archive  
    lib//native/libhdfs.a:          current ar archive  
    lib//native/libhdfs.so:         symbolic link to `libhdfs.so.0.0.0'  
    lib//native/libhdfs.so.0.0.0:   <span style="color:#ff0000;">ELF 64-bit LSB shared object, x86-64, version 1</span> (SYSV), dynamically linked, not stripped

安装完配置下环境变量，

vi + /etc/profile  

export HADOOP_HOME=/usr/local/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin

使配置文件生效： source /etc/profile

hadoop编译成功，下面可以来部署集群。

5、部署集群准备

两台以上机器，修改hostname, ssh免登陆，关闭防火墙等

5.1、创建新用户

useradd -u 600 hadoop  
passwd hadoop 

sudo sudo vi + /etc/sudoers 添加 hadoop ALL=(ALL) ALL

su hadoop

注意以下操作有些需要root权限

5.2、修改主机名

vi /etc/sysconfig/network  
NETWORKING=yes
hostname=master

注销一下系统

[root@master ~]#

变成master了,修改生效

5.3、修改hosts

    vi /etc/hosts  
    新增你的主机IP和HOSTNAME  
      
    192.168.10.10  master  localhost
    192.168.10.11  slave1

5.4、ssh免登陆

Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到 NameNode。

1)SSH基本原理

SSH之所以能够保证安全，原因在于它采用了公钥加密。过程如下：

(1)远程主机收到用户的登录请求，把自己的公钥发给用户。

(2)用户使用这个公钥，将登录密码加密后，发送回来。

(3)远程主机用自己的私钥，解密登录密码，如果密码正确，就同意用户登录。

2）SSH无密码原理

Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。

查看ssh

    [root@localhost data]# rpm -qa|grep ssh  
    libssh2-1.4.2-1.el6.x86_64  
    openssh-5.3p1-84.1.el6.x86_64  
    openssh-server-5.3p1-84.1.el6.x86_64

缺少openssh-clients,

    yum install openssh-clients

修改/etc/ssh/sshd_config

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

把这三行放开保存

然后service sshd restart

现在开始配置无密登录

    [hadoop@master ~]$ cd /home/hadoop/  
    [hadoop@master ~]$ ssh-keygen -t rsa

一路回车

    [hadoop@master ~]$ cd /home/hadoop/.ssh/  
    [hadoop@master .ssh]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    [hadoop@master .ssh]$ chmod 600 authorized_keys

把authorized_keys复制到其他要无密的机器上

[hadoop@master .ssh]$ scp authorized_keys hadoop@centos-two:/home/hadoop/.ssh/authorized_keys_from_one

设置.ssh目录权限

    chmod 700 -R .ssh

每台机子都要无密钥登录，把每台机子产生的密钥添加到文件中就ok 了
cat ~/.ssh/authorized_keys_from_one >> ~/.ssh/authorized_keys

一般情况到这里就可以无密登录了，可是我怎么还是需要密码，经过一翻搜寻才知道这是centos6.4版本的问题，《关于centos ssh无密登录失败的记录》

    [hadoop@master .ssh]$ ssh slave1  
    Last login: Mon Nov 25 14:49:25 2013 from master  
    [hadoop@slave1 ~]$

看到已经变成slave1了，说明成功鸟

注：master，slave每台机器都要进行上面的操作

出现The authenticity of host 192.168.0.xxx can't be established.解决办法

执行ssh  -o StrictHostKeyChecking=no  192.168.0.xxx　就OK

6、开始集群配置工作

概念

HDFS:
      NameNode  ：管理节点
      DataNode   ：数据节点
      SecondaryNamenode : 数据源信息备份整理节点
 
MapReduce
       JobTracker  ：任务管理节点
       Tasktracker  ：任务运行节点
 
配置文件
　　　　hadoop-env.sh hadooop 环境变量配置
       core-site.xml   common属性配置
       hdfs-site.xml    HDFS属性配置
       mapred-site.xml  MapReduce属性配置

配置之前在要目录下创建三个目录，用来放hadooop文件和日志数据

cd /home/hadoop/ 
[hadoop@master ~]$mkdir -p dfs/name  
[hadoop@master ~]$mkdir -p dfs/data  
[hadoop@master ~]$mkdir -p temp

把之前编译成功的版本移到hadoop目录下，注意目录权限问题

下面就开始配置文件（注：主从服务器配置一样，使用scp复制过去scp $HADOOP_HOME/etc/hadoop/core-site.xml hadoop@centos-two.ndtech:$HADOOP_HOME/etc/hadoop/）

6.1 hadoop-env.sh

cd $HADOOP_HOME 

找到JAVA_HOME，把路径改为实际地址

6.2 配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS master（即namenode）的地址和端口号。

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master-hadoop:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
</configuration>

备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删掉，必须重新执行format才行，否则会出错.

6.3 配置hdfs-site.xml文件

修改Hadoop中HDFS的配置，配置的备份方式默认为3。

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>    #数据副本数量，默认3
<value>1</value>
</property>

<property>
<name>dfs.datanode.address</name>
<value>0.0.0.0:50011</value>
<description>
默认为50010, 是datanode的监听端口,避免端口占用
</description>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:50076</value>
<description>
默认为50075，为datanode的http server端口
</description>
</property>
<property>
<name>dfs.datanode.ipc.address</name>
<value>0.0.0.0:50021</value>
<description>
默认为50020, 为datanode的ipc server端口
</description>
</property>


</configuration>

(备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)

6.4 配置yarn-site.xml （新框架中 NodeManager 与 RM 通信的接口地址）

<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.50.173:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.50.173:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.50.173:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.50.173:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.50.173:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

6.5 配置mapred-site.xml文件

修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.50.173:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.50.173:19888</value>
</property>
</configuration>

6.6 配置slaves文件（Master主机特有）

有两种方案：
    （1）第一种
    去掉"localhost"，每行添加一个主机名，把剩余的Slave主机名都填上。
    例如：添加形式如下：

Slave1.Hadoop
Slave2.Hadoop

    （2）第二种
    去掉"localhost"，加入集群中所有Slave机器的IP，也是每行一个。
    例如：添加形式如下

192.168.1.142
192.168.1.137

7、启动hadoop

这里你可以进行环境变量设置，不举例了

7.1、格式化namenode

    [hadoop@master hadoop]$ cd $HADOOP_HOME/bin/  
    [hadoop@master bin]$ ./hdfs namenode -format

7.2、启动hdfs

    [hadoop@master bin]$ cd $HADOOP_HOME/sbin/  
    [hadoop@master sbin]$ ./start-dfs.sh

这时候在master中输入jps应该看到namenode和secondarynamenode服务启动，slave中看到datanode服务启动

7.3、启动yarn

    [hadoop@master sbin]$ ./start-yarn.sh

master中应该有ResourceManager服务，slave中应该有nodemanager服务

查看集群状态：./bin/hdfs dfsadmin –report

查看文件块组成： ./bin/hdfsfsck / -files -blocks

查看各节点状态: http://192.168.50.173:50070

查看resourcemanager上cluster运行状态: http:// 192.168.50.173:8088

8、安装中要注意的事项

8.1、注意版本，机器是32bit还是64位

8.2、注意依赖包的安装

8.3、写配置文件注意”空格“，特别是从别的地方copy的时候

8.4、关闭所有节点的防火墙

如果有看到类似"no route to host"这样的异常，基本就是防火墙没关

记得关的时候要切换到root帐号

    （1） 重启后永久性生效：  
      
    开启：chkconfig iptables on  
      
    关闭：chkconfig iptables off  
      
    （2） 即时生效，重启后失效：  
      
    开启：service iptables start  
      
    关闭：service iptables stop

8.5、开启datanode后自动关闭

基本是因为namenode和datanode的clusterID不一致，可以参考《解决hadoop集群中datanode启动后自动关闭的问题》

其他一些特殊异常只能google之了

8.6 no datanode to stop

删除/tmp目录下的

adoop-daemon.sh代码，脚本是通过pid文件来停止hadoop服务的，而集群配置是使用的默认配置，pid文件位于/tmp目录下，对比/tmp目录下hadoop pid文件中的进程id和ps ax查出来的进程id，发现两个进程id不一致，终于找到了问题的根源。
赶紧去更新hadoop的配置吧！
修改hadoop-env.sh中的：HADOOP_PID_DIR = hadoop安装路径

9、运行测试例子

[hadoop@master bin]$ ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter /home/hadoop/dfs/input/

这里要注意不要用 -jar,不然会报异常“Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/ProgramDriver”

    [hadoop@master bin]$ ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /home/hadoop/dfs/input/ /home/hadoop/dfs/output/

在input下面新建两个文件

    $mkdir /dfs/input %echo ‘hello,world’ >> input/file1.in  
    $echo ‘hello, ruby’ >> input/file2.in  
      
    ./bin/hadoop fs -mkdir -p /home/hadoop/dfs/input  
    ./bin/hadoop fs –put /home/hadoop/dfs/input /home/hadoop/test/test_wordcount/in  
      
    查看word count的计算结果：  
    $bin/hadoop fs -cat /home/hadoop/test/test_wordcount/out/*  
    hadoop 1  
    hello  1  
    ruby

参考：

http://blog.csdn.net/w13770269691/article/details/16883663

http://blog.csdn.net/licongcong_0224/article/details/12972889

http://www.cnblogs.com/lanxuezaipiao/p/3525554.html

http://going.blog.51cto.com/7876557/1365883

posted @ 2014-05-26 15:03 forbesyan 阅读(141) 评论(0) 收藏举报

刷新页面返回顶部

hadoop2.2.0 centos 编译安装详解

公告