2019年10月7日
spark基础知识三
摘要： 主要围绕spark的底层核心抽象RDD和原理进行理解。主要包括以下几个方面 RDD弹性分布式数据集的依赖关系 RDD弹性分布式数据集的lineage血统机制 RDD弹性分布式数据集的缓存机制 spark任务的DAG有向无环图的构建 spark任务如何划分stage spark任务的提交和调度流程 1 阅读全文
posted @ 2019-10-07 22:37 小码农成长记 阅读(215) 评论(0) 推荐(0)
spark基础知识二
摘要： 主要围绕spark的底层核心抽象RDD进行理解。主要包括以下几个方面 RDD弹性分布式数据集的概念 RDD弹性分布式数据集的五大属性 RDD弹性分布式数据集的算子操作分类 RDD弹性分布式数据集的算子操作练习 1. RDD是什么 RDD（Resilient Distributed Dataset）叫 阅读全文
posted @ 2019-10-07 21:34 小码农成长记 阅读(431) 评论(0) 推荐(0)