随笔分类 -  Spark

Spark系列(十)TaskSchedule工作原理
摘要：Spark系列之TaskSchedule工作原理 阅读全文
posted @ 2016-04-19 12:13 会飞的纸盒 阅读(684) 评论(0) 推荐(0)
Spark系列(九)DAGScheduler工作原理
摘要：Spark系列之DAGScheduler工作原理 阅读全文
posted @ 2016-04-16 17:50 会飞的纸盒 阅读(645) 评论(0) 推荐(0)
Spark系列(八)Worker工作原理
摘要：Spark系列之Worker工作原理 阅读全文
posted @ 2016-04-10 19:52 会飞的纸盒 阅读(270) 评论(0) 推荐(0)
Spark系列(七)Master中的资源调度
摘要：Spark系列之Master资源调度 阅读全文
posted @ 2016-04-07 01:19 会飞的纸盒 阅读(755) 评论(0) 推荐(0)
Spark系列(六)Master注册机制和状态改变机制
摘要：Spark系列之Master注册机制和状态改变机制 阅读全文
posted @ 2016-04-06 19:48 会飞的纸盒 阅读(394) 评论(0) 推荐(0)
Spark系列(五)Master主备切换机制
摘要：Spark Master主备切换机制 阅读全文
posted @ 2016-03-29 16:05 会飞的纸盒 阅读(2164) 评论(0) 推荐(0)
Spark系列(四)整体架构分析
摘要：Spark整体架构分析 阅读全文
posted @ 2016-03-26 01:19 会飞的纸盒 阅读(414) 评论(0) 推荐(0)
Spark系列(三)SparkContext分析
摘要：Spark系列值SparkContext分析 阅读全文
posted @ 2016-03-23 22:29 会飞的纸盒 阅读(317) 评论(0) 推荐(0)
Spark系列（二） Spark Shell各种操作及详细说明
摘要：并行化scala集合(Parallelize)//加载数据1~10val num=sc.parallelize(1 to 10)//每个数据项乘以2,注意 _*2记为一个函数(fun) val doublenum = num.map(_*2) //内存缓存数据doublenum.cache() //... 阅读全文
posted @ 2014-10-02 21:31 会飞的纸盒 阅读(1488) 评论(0) 推荐(0)
Spark系列（一）Spark1.0.0源码编译及安装
摘要：最近想对自己学的东西做些回顾，想到写博客是个不错的方式，方便他人也有利自己，刚开始写不足之处大家多担待。编译前需要安装JDK1.6以上、scala、Maven、Ant、hadoop2.20 如下图(/etc/profile)：Spark编译有提供了两种方式：Maven编译：在 /etc/profil... 阅读全文
posted @ 2014-10-02 20:50 会飞的纸盒 阅读(440) 评论(0) 推荐(0)