摘要: 从两方面来阐述spark的组件,一个是宏观上,一个是微观上。1. spark组件要分析spark的源码,首先要了解spark是如何工作的。spark的组件:了解其工作过程先要了解基本概念官方罗列了一些概念:TermMeaningApplicationUser program built on Spa... 阅读全文
posted @ 2016-01-16 17:28 一天不进步,就是退步 阅读(2776) 评论(0) 推荐(0)
摘要: 工作中用到了apache-spark,想深入了解一下,决定从源码开始。先导入到常用的ide,eclipse吧:准备工作 1. 下载Eclipse:http://scala-ide.org/ 2. 从github上下载源码:https://github.com/apache/spark第一个实验品是S... 阅读全文
posted @ 2016-01-16 13:09 一天不进步,就是退步 阅读(2455) 评论(0) 推荐(0)