随笔分类 -  Spark

Spark
摘要:Spark基础 什么是spark 也是一个分布式的并行计算框架 spark是下一代的map reduce,扩展了mr的数据处理流程。 Spark架构原理图解 RDD[Resilient Distributed Dataset] 它是一个弹性分布式数据集,具有良好的通用性、容错性与并行处理数据的能力, 阅读全文
posted @ 2018-08-15 15:38 Lil-K 阅读(158) 评论(0) 推荐(0)
摘要:spark 核心 spark core RDD创建 RDD转换 RDD缓存 RDD行动 RDD输出 RDD[Resilient Distributed Dataset] 它是一个弹性分布式数据集,具有良好的通用性、容错性与并行处理数据的能力,为用户屏蔽了底层对数据的复杂抽象和处理,为用户提供了一组方 阅读全文
posted @ 2018-08-15 15:38 Lil-K 阅读(167) 评论(0) 推荐(0)