随笔分类 -  初学spark

Spark的存储管理
摘要：转载出处：http://www.cnblogs.com/BYRans/ Spark的存储管理 RDD的存放和管理都是由Spark的存储管理模块实现和管理的。本文从架构和功能两个角度对Spark的存储管理模块进行介绍。 架构角度 从架构角度，存储管理模块主要分为以下两层： 通信层：存储管理模块采用的是 阅读全文
posted @ 2017-04-23 17:42 星之擎 阅读(1524) 评论(0) 推荐(0)
RDD中cache和persist的区别
摘要：通过观察RDD.scala源代码即可知道cache和persist的区别： def persist(newLevel: StorageLevel): this.type = { if (storageLevel != StorageLevel.NONE && newLevel != storageL 阅读全文
posted @ 2017-04-22 22:30 星之擎 阅读(920) 评论(0) 推荐(0)
breeze包
只有注册用户登录后才能阅读该文。
posted @ 2017-04-06 14:16 星之擎 阅读(0) 评论(0) 推荐(0)
初学spark
只有注册用户登录后才能阅读该文。
posted @ 2016-09-24 14:51 星之擎 阅读(2) 评论(0) 推荐(0)