摘要：
1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。为了防... 阅读全文
posted @ 2016-01-08 21:24
大数据从业者FelixZh
阅读(562)
评论(0)
推荐(0)
摘要：
问题导读：1、如何对Spark1.0.0源码编译？2、如何生成Spark1.0的部署包？3、如何获取包资源？Spark1.0.0的源码编译和部署包生成，其本质只有两种：Maven和SBT，只不过针对不同场景而已：Maven编译SBT编译IntelliJ IDEA编译（可以采用Maven或SBT插件编... 阅读全文
posted @ 2016-01-08 19:52
大数据从业者FelixZh
阅读(534)
评论(0)
推荐(0)
摘要：
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、编译SparkSpark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种... 阅读全文
posted @ 2016-01-08 19:51
大数据从业者FelixZh
阅读(303)
评论(0)
推荐(0)
摘要：
Hadoop不提供64位编译好的版本，只能用源码自行编译64位版本。学习一项技术从安装开始，学习hadoop要从编译开始。1.操作系统编译环境yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool nc... 阅读全文
posted @ 2016-01-08 19:22
大数据从业者FelixZh
阅读(291)
评论(0)
推荐(0)
摘要：
详细参照源码路径下的BUILDING.txt文件 Centos 6.5 x64 hadoop 2.6.0 jdk 1.7 protobuf-2.5.0 maven-3.0.5 set environment export JAVA_HOME=/home/linux/jdk export CLASSP 阅读全文
posted @ 2016-01-08 19:20
大数据从业者FelixZh
阅读(320)
评论(0)
推荐(0)
摘要：
由于服务器一般都64位系统， hadoop网站的release版本32位native库不能运行，所以需要自己在编译一下。以下是我采用的一个编译的过程，比较简单，不用下载各种版本及环境配置，通过命令就能自动完成了。系统环境为ubuntu server 64位版。1、安装JDK，我这里使用的是OenJD... 阅读全文
posted @ 2016-01-08 12:05
大数据从业者FelixZh
阅读(407)
评论(0)
推荐(0)
浙公网安备 33010602011771号