2015年1月16日
spark架构设计&编程模型 02
摘要： 启动spark-shell:简单的RDD：上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例：我们把生成的RDD的每个元素都乘以3：上述的操作都是transformations我们需要触发一个action才能执行：我们可以看到预期结果，但我们可以看到co... 阅读全文
posted @ 2015-01-16 18:52 stark_summer 阅读(132) 评论(0) 推荐(0)
spark架构设计&编程模型01
摘要： RDD操作例子：RDD的依赖和运行时深入RDD:另一种Partitioner是RangePartitioner:以NewHadoopRDD为例，其诶不的信息如下所示：以WholeTextFileRDD为例，其内部的信息如下： 版权声明：... 阅读全文
posted @ 2015-01-16 17:25 stark_summer 阅读(151) 评论(0) 推荐(0)
hadoop&spark mapreduce对比 & 框架设计和理解
摘要： Hadoop MapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘spark map reduce:RDD is everything for dev:Basic Concepts:Graph RDD:Spark Runtime:schedule:De... 阅读全文
posted @ 2015-01-16 15:15 stark_summer 阅读(301) 评论(0) 推荐(0)