Linux环境下(ubuntu)如何编译hadoop2.7



         Linux环境下(ubuntu 12.04)如何编译hadoop2.7
-------------------------------------------------------------------------------------------
说明:官方安装包只提供32位安装包,LINUX ubuntu 下需下载源码,编译成64位安装包

------------------------------------------------------------------------------------------

相关链接:

Linux环境下(ubuntu)如何编译  hadoop2.7 http://www.cnblogs.com/JustSunh/articles/5818007.html
spark安装 - 安装ssh  http://www.cnblogs.com/JustSunh/articles/5817843.html
spark安装步骤2- 安装hadoop  http://www.cnblogs.com/JustSunh/articles/5817911.html
spark2.0 安装配置  http://www.cnblogs.com/JustSunh/articles/5817917.html
spark2.0 安装测试  http://www.cnblogs.com/JustSunh/articles/5818020.html


------------------------------------------------------------------------

1.maven 安装

    自动安装:
    sudo apt-get install maven
    成功后,查看版本
    mvn -version

    手动安装(建议)
    http://maven.apache.org/download.cgi

    解压:
        #tar -xzvf apache-maven-3.3.9-bin.tar.gz
        tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /app/
    添加环境变量:
        vi /etc/profile文件里追加:
        export M2_HOME=/app/apache-maven-3.3.9
        export PATH=$PATH:$M2_HOME/bin
        source /etc/profile

------------------------------------------------------------------------
------------------------------------------------------------------------

2.protobuf-2.5.0 安装

    find . -type f | xargs grep '2.5.0'
    sudo apt-get install g++

    $  ./configure --prefix=/app/protobuf-2.5.0
    $  make
    $  make check
    $  make install
    $  ldconfig
  设置环境变量
    vi /etc/profile
    export PROTOBUF_HOME=/app/protobuf-2.5.0
    export PATH=$PATH:$PROTOBUF_HOME/bin
    source /etc/profile
    查看安装情况
    protoc --version

-----------------------------------------------------------------------
-----------------------------------------------------------------------

3.安装openssl库

    apt-get install libssl-dev

-----------------------------------------------------------------------
-----------------------------------------------------------------------

4.CMake安装
 
  命令安装 >>>  apt-get install cmake

  手动下载安装  >>>

    1.判断相关软件是否安装
        sudo apt-get install build-essential

    2.删除先前版本的cmake(如果有的话)
        sudo apt-get autoremove cmake
    3.下载cmake3.2.2源码
        wget http://www.cmake.org
    4.解压
        到当前目录 tar zxvf cmake3.2.2.tar.gz
       或者
        到指定目录/app/    # tar zxvf cmake-3.2.2.tar.gz -C /app/
    5.进入cmake3.2.2文件夹,安装
        $  ./configure --prefix=/app/cmake3.2.2
        $  make
        $  make install
    6.配置环境变量
        vi /etc/profile
        export CMAKE_HOME=/app/cmake3.2.2
        export PATH=$PATH:$CMAKE_HOME/bin
        source /etc/profile
    7.查看安装结果
        cmake --version

-----------------------------------------------------------------------
-----------------------------------------------------------------------

5.apache-ant-1.9.4 安装

      下载地址    http://ant.apache.org
      解压
        tar zxvf apache-ant-1.9.4-bin.tar.gz -C /app/
      设置环境变量
        vi /etc/profile
            export ANT_HOME=/app/apache-ant-1.9.4
            export PATH=$PATH:$ANT_HOME/bin
        source /etc/profile
     查看版本信息:ant -version

-----------------------------------------------------------------------
-----------------------------------------------------------------------
6.编译 hadoop-2.7.2-src
        http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz
    cd /app/hadoop-2.7.2-src
    执行命令
    mvn package -Pdist,native -DskipTests -Dtar
        mvn clean package -Pdist,native -DskipTests -Dtar

    变更拥有者(具体情况而定)
    chown -R hadoop:hadoop hadoop-2.7.2-src

-----------------------------------------------------------------------
-----------------------------------------------------------------------

扩展:


  系统自动安装的,有时候会版本不匹配。
  卸载protoc:
    which protoc找到文件位置,比如我的mac上是/usr/local/bin/protoc。
    执行sudo rm /usr/local/bin/protoc就可以了。


posted @ 2016-08-29 15:01  summer.sun  阅读(294)  评论(0)    收藏  举报