spark亚太研究院

2014年12月26日

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节：Spark架构设计(2)

摘要：三，深入RDD RDD本身是一个抽象类，具有很多具体的实现子类：RDD都会基于Partition进行计算：默认的Partitioner如下所示：其中HashPartitioner的文档说明如下：另外一种常用的Partitioner是RangePartitioner：RDD在持久化的需要考虑内存策略：... 阅读全文

posted @ 2014-12-26 13:11 spark亚太研究院阅读(307) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节：Spark架构设计(1)

摘要：一、以RDD为基石的Spark编程模型在Spark中一切都是基于RDD的：什么是RDD呢？官方给出的解释是：也就是说每个RDD都至少有以下三个函数实现:Spark自带了非常多的RDD:RDD主要分为两种：其中的transformations是lazyexecution的，需要具体的action去触... 阅读全文

posted @ 2014-12-26 12:53 spark亚太研究院阅读(205) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节：Spark架构设计(2)

摘要：三，Spark的RDD在Spark中一切都是以RDD为基础和核心的：每个RDD的API如下所示：Spark官方文档中给出了的众多的RDD：RDD中的操作分为transformations和actions两种：下面举一个例子来说明RDD的使用：另外有两个特殊的RDD:他们都是controllingop... 阅读全文

posted @ 2014-12-26 12:46 spark亚太研究院阅读(178) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节：Spark架构设计(1)

摘要：一、到底什么是Spark？Spark是一个通用的大数据计算平台，基于“OneStacktorulethemall”的理念成功成为了一体化多元化的大数据处理平台，轻松应对大数据处理中的实时流计算、SQL交互式查询、机器学习和图计算等：Spark源于BDAS:基于该技术堆栈，Spark目前已经成为大数据... 阅读全文

posted @ 2014-12-26 12:41 spark亚太研究院阅读(217) 评论(0) 推荐(0)

2014年12月16日

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节：为什么Spark是大数据必然的现在和未来？(2)

摘要：三、你为什么需要Spark；你需要Spark的十大理由：1，Spark是可以革命Hadoop的目前唯一替代者，能够做Hadoop做的一切事情，同时速度比Hadoop快了100倍以上：LogisticregressioninHadoopandSpark可以看出在Spark特别擅长的领域其速度比Hado... 阅读全文

posted @ 2014-12-16 22:19 spark亚太研究院阅读(284) 评论(0) 推荐(0)

2014年12月12日

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节：为什么Spark是大数据必然的现在和未来？(1)

摘要：一、MapReduce已死，Spark称霸由于Hadoop的MapReduce高延迟的死穴，导致Hadoop无力处理很多对时间有要求的场景，人们对其批评越来越多，Hadoop无力改变现在而导致正在死亡。正如任何领域一样，死亡是一个过程，Hadoop正在示例这样的一个过程，Hadoop的死亡过程在20... 阅读全文

posted @ 2014-12-12 22:35 spark亚太研究院阅读(171) 评论(0) 推荐(0)

2014年12月11日

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节：动手实战Scala函数式编程(2)

摘要： 3，动手实战Scala中的泛型泛型泛型类和泛型方法，也就是我们实例化类或者调用方法的时候可以指定其类型，由于Scala的泛型和Java的泛型是一致的，这里不再赘述。4，动手实战Scala中的隐式转换、隐式参数、隐式类隐式转换是很多人学习Scala的难点，这是Scala的精髓之一：下面看一下隐藏参... 阅读全文

posted @ 2014-12-11 22:11 spark亚太研究院阅读(137) 评论(0) 推荐(0)

2014年12月1日

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节：动手实战Scala函数式编程(1)

摘要：函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。1，动手实战Scala高阶函数声明一个List集合实例：List集合所在的包已经被预定义自动导入，所以此处不需要导入包，同时，这里直接使用List实例化对象，其实是用来List的object对象的apply方法；我们使用m... 阅读全文

posted @ 2014-12-01 22:07 spark亚太研究院阅读(207) 评论(0) 推荐(0)

2014年11月28日

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节：动手实战Scala面向对象编程(3)

摘要： 5，动手实战Scala中的apply方法和单例对象新建一个类：额外提一点，放在object对象中的方法都是静态方法，如下所示：接下来看一下apply方法的使用：上面代码总当我们使用“vala=ApplyTest()”的使用会导致apply方法的调用并返回该方法调用的值，也就是ApplyTest的实... 阅读全文

posted @ 2014-11-28 20:52 spark亚太研究院阅读(115) 评论(0) 推荐(0)

2014年11月27日

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节：动手实战Scala面向对象编程(2)

摘要： 3，动手实战Scala中的抽象类抽象类的定义需要使用abstract关键字：上面的代码定义并实现了抽象方法，需要注意的是我们把直接运行的代码放在了App这个trait的子类中，关于App内部帮助我们实现了main方法并管理了工程师写的代码；下面看一下抽象类中未被初始化的变量的使用：4，动手实战Sca... 阅读全文

posted @ 2014-11-27 21:53 spark亚太研究院阅读(161) 评论(0) 推荐(0)