01 2016 档案

scala-trait实现AOP编程
摘要：步骤1：声明表示基本动作方法的模块Taction //声明表示基本动作方法的模块Taction trait TAction { def doAction } 步骤2：定义一下加入了前置处理和后置处理的特征TBeforeAfter trait TBeforeAfter extends TAction 阅读全文

posted @ 2016-01-28 21:54 ilinux_one 阅读(587) 评论(0) 推荐(0)

Spark部署配置
摘要：前提是已经安装了Hadoop============================ SetUp Spark=============================Configuration spark-env.sh HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.... 阅读全文

posted @ 2016-01-10 23:23 ilinux_one 阅读(203) 评论(0) 推荐(0)

Spark概述
摘要：1. Spark定义 构建与计算集群之上支持大数据集的快速的通用的处理引擎a)快速： DAG、Memoryb)通用：集成Spark SQL、Streaming、Graphic、R、Batch Processc)运行方式：StandAloneYARNMesosAWSd)数据来源：Hdfs Hbase ... 阅读全文

posted @ 2016-01-10 10:15 ilinux_one 阅读(500) 评论(0) 推荐(0)

Spark1.4.1 编译与安装
摘要：1、下载下载地址：http://spark.apache.org/downloads.html选择下载源码2、源码编译1）解压tar -zxvf spark-1.4.1.tgz2、编译spark有三种编译方式1.SBT编译2.Maven编译前提：1.JDK 2.Maven 3.Scalamvn编译 ... 阅读全文

posted @ 2016-01-10 10:02 ilinux_one 阅读(457) 评论(0) 推荐(0)

导航