Linux环境下(ubuntu)如何编译hadoop2.7
Linux环境下(ubuntu 12.04)如何编译hadoop2.7
-------------------------------------------------------------------------------------------
说明:官方安装包只提供32位安装包,LINUX ubuntu 下需下载源码,编译成64位安装包
------------------------------------------------------------------------------------------
相关链接:
Linux环境下(ubuntu)如何编译 hadoop2.7 http://www.cnblogs.com/JustSunh/articles/5818007.html
spark安装 - 安装ssh http://www.cnblogs.com/JustSunh/articles/5817843.html
spark安装步骤2- 安装hadoop http://www.cnblogs.com/JustSunh/articles/5817911.html
spark2.0 安装配置 http://www.cnblogs.com/JustSunh/articles/5817917.html
spark2.0 安装测试 http://www.cnblogs.com/JustSunh/articles/5818020.html
------------------------------------------------------------------------
1.maven 安装
自动安装:
sudo apt-get install maven
成功后,查看版本
mvn -version
手动安装(建议)
http://maven.apache.org/download.cgi
解压:
#tar -xzvf apache-maven-3.3.9-bin.tar.gz
tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /app/
添加环境变量:
vi /etc/profile文件里追加:
export M2_HOME=/app/apache-maven-3.3.9
export PATH=$PATH:$M2_HOME/bin
source /etc/profile
------------------------------------------------------------------------
------------------------------------------------------------------------
2.protobuf-2.5.0 安装
find . -type f | xargs grep '2.5.0'
sudo apt-get install g++
$ ./configure --prefix=/app/protobuf-2.5.0
$ make
$ make check
$ make install
$ ldconfig
设置环境变量
vi /etc/profile
export PROTOBUF_HOME=/app/protobuf-2.5.0
export PATH=$PATH:$PROTOBUF_HOME/bin
source /etc/profile
查看安装情况
protoc --version
-----------------------------------------------------------------------
-----------------------------------------------------------------------
3.安装openssl库
apt-get install libssl-dev
-----------------------------------------------------------------------
-----------------------------------------------------------------------
4.CMake安装
命令安装 >>> apt-get install cmake
手动下载安装 >>>
1.判断相关软件是否安装
sudo apt-get install build-essential
2.删除先前版本的cmake(如果有的话)
sudo apt-get autoremove cmake
3.下载cmake3.2.2源码
wget http://www.cmake.org
4.解压
到当前目录 tar zxvf cmake3.2.2.tar.gz
或者
到指定目录/app/ # tar zxvf cmake-3.2.2.tar.gz -C /app/
5.进入cmake3.2.2文件夹,安装
$ ./configure --prefix=/app/cmake3.2.2
$ make
$ make install
6.配置环境变量
vi /etc/profile
export CMAKE_HOME=/app/cmake3.2.2
export PATH=$PATH:$CMAKE_HOME/bin
source /etc/profile
7.查看安装结果
cmake --version
-----------------------------------------------------------------------
-----------------------------------------------------------------------
5.apache-ant-1.9.4 安装
下载地址 http://ant.apache.org
解压
tar zxvf apache-ant-1.9.4-bin.tar.gz -C /app/
设置环境变量
vi /etc/profile
export ANT_HOME=/app/apache-ant-1.9.4
export PATH=$PATH:$ANT_HOME/bin
source /etc/profile
查看版本信息:ant -version
-----------------------------------------------------------------------
-----------------------------------------------------------------------
6.编译 hadoop-2.7.2-src
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz
cd /app/hadoop-2.7.2-src
执行命令
mvn package -Pdist,native -DskipTests -Dtar
mvn clean package -Pdist,native -DskipTests -Dtar
变更拥有者(具体情况而定)
chown -R hadoop:hadoop hadoop-2.7.2-src
-----------------------------------------------------------------------
-----------------------------------------------------------------------
扩展:
系统自动安装的,有时候会版本不匹配。
卸载protoc:
which protoc找到文件位置,比如我的mac上是/usr/local/bin/protoc。
执行sudo rm /usr/local/bin/protoc就可以了。

浙公网安备 33010602011771号