10 2016 档案

Spark存储管理（读书笔记）
摘要：Spark存储管理（读书笔记） 转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark的存储管理 RDD的存放和管理都是由Spark的存储管理模块实现和管理的。本文从架构和功能两个角度对Spark的存储管理模块进行介绍。 架构角度 从架构角度，存储管理模块主要 阅读全文

posted @ 2016-10-10 14:21 BYRans 阅读(4319) 评论(0) 推荐(2)

Spark调度管理（读书笔记）
摘要：Spark调度管理（读书笔记） 转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark调度管理 本文主要介绍在单个任务内Spark的调度管理，Spark调度相关概念如下： Task（任务）：单个分区数据及上的最小处理流程单元。 TaskSet（任务集）：由一组 阅读全文

posted @ 2016-10-09 21:48 BYRans 阅读(1598) 评论(0) 推荐(0)

导航