2016年1月10日

Spark部署配置
摘要： 前提是已经安装了Hadoop============================ SetUp Spark=============================Configuration spark-env.sh HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.... 阅读全文
posted @ 2016-01-10 23:23 ilinux_one 阅读(203) 评论(0) 推荐(0)
Spark概述
摘要： 1. Spark定义 构建与计算集群之上支持大数据集的快速的通用的处理引擎a)快速： DAG、Memoryb)通用：集成Spark SQL、Streaming、Graphic、R、Batch Processc)运行方式：StandAloneYARNMesosAWSd)数据来源：Hdfs Hbase ... 阅读全文
posted @ 2016-01-10 10:15 ilinux_one 阅读(499) 评论(0) 推荐(0)
Spark1.4.1 编译与安装
摘要： 1、下载下载地址：http://spark.apache.org/downloads.html选择下载源码2、源码编译1）解压tar -zxvf spark-1.4.1.tgz2、编译spark有三种编译方式1.SBT编译2.Maven编译前提：1.JDK 2.Maven 3.Scalamvn编译 ... 阅读全文
posted @ 2016-01-10 10:02 ilinux_one 阅读(456) 评论(0) 推荐(0)

导航