Hadoop2.x源码编译

  具体目录规范，如下图 ：

  /opt/modules # 大型软件的安装路径
  /opt/softwares # 软件源程序安装包上传路径
  /opt/tools # 工具安装路径
  /opt/datas #数据文件存放路径

1. maven的安装

   a.在 /opt/modules目录下创建maven

     

     

    b.  将apache-maven-3.0.5.tar.gz级压缩到/opt/maven/modules/maven里面

    

    c. 配置环境变量,# sudo vi /etc/profile 

   

    d.验证环境变量 

      

2. 下载hadoop源码包，上传到/opt/softwares目录下，解压到/opt/modules/hadoop

     #tar -zxvf hadoop-2.5.0-src.tar -C /opt/modules/hadoop

3. 用maven去编译，先安装一些依赖,protobuffer

     

     发现预编译错误

     

    

    再次预编译  #sudo ./configure --prefix=/usr/local/protoc

    安装

    

    配置protoc 环境变量 /usr/local/protc

    

    查看

         

    验证 #sudo vi Teacherproto.proto

    

   

   则发现生成了Teacherproto.java

   

4. 安装其他依赖

     #sudo yum -y install openssl-devel ncurses-devel cmake

5. 编译Hadoop2.x

       

    

    显示编译成功后,在 /opt/modules/hadoop/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/lib/native 里面文件覆盖 /opt/modules/hadoop/hadoop-2.5.0/lib/native

     验证，编译成功，不再报错

     

6. 将yum源改成aliyum的镜像。 http://mirrors.aliyun.com/help/centos

    a. 先编写脚本 #vim update_yum_toali.sh

    b. 编写文件  

    

   c. 执行文件

   

   d.更新本地缓存