随笔分类 -  spark

Spark的Transformation和Action
摘要:1,transformation是得到一个新的RDD,方式很多,比如从数据源生成一个新的RDD,从RDD生成一个新的RDD 2,action是得到一个值,或者一个结果(直接将RDD cache到内存中) 所有的transformation都是采用的懒策略,就是如果只是将transformation提 阅读全文

posted @ 2016-02-25 19:30 冰封♀啸 阅读(330) 评论(0) 推荐(0)

Spark RDD API详解(一)(转)
摘要:RDD是什么? RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组 的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理。因此,Spark应用程序所做的无非是把需要 阅读全文

posted @ 2016-02-19 15:30 冰封♀啸 阅读(822) 评论(0) 推荐(0)

导航