饭随笔

导航

2015年3月30日 #

spark配置lzo

摘要： spark1.0版本 spark-env.sh中export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/soft/hadoop/lzo/lib/export SPARK_CLASSPATH=$SPARK_CLASSPATH:/soft/server/spark-... 阅读全文

posted @ 2015-03-30 09:24 饭随笔 阅读(918) 评论(0) 推荐(0) 编辑

hadoop-2.2.0 的编译安装及HA配置

摘要： 准备工作中要求有 1.centOs 6.4，添加hadoop用户，配置集群内的/etc/hosts文件。 2.安装hadoop用户的ssh，并打通集群内所有机器，（ha执行fencing时会用到）。 3.下载社区版hadoop-2.2.0源码。 （编译hadoop 2.2.0所需要的软件可在此处下载 阅读全文

posted @ 2015-03-30 09:22 饭随笔 阅读(290) 评论(0) 推荐(0) 编辑