过雁

摘要： Stage 是一组独立的任务，他们在一个job中执行相同的功能（function），功能的划分是以shuffle为边界的。DAG调度器以拓扑顺序执行同一个Stage中的task。/** * A stage is a set of independent tasks all computing the same function that need to run as part * of a Spa... 阅读全文

摘要： DAGScheduler最终创建了task set，并提交给了taskScheduler。那先得看看task是怎么定义和执行的。Task是execution执行的一个单元。Task： executor执行的基本单元，也是spark操作的最小单位。和java executor的task基本上是相同含义的。/** * A unit of execution. We have two kinds of ... 阅读全文

摘要： 在前面的sparkContex和RDD都可以看到，真正的计算工作都是同过调用DAGScheduler的runjob方法来实现的。这是一个很重要的类。在看这个类实现之前，需要对actor模式有一点了解：http://en.wikipedia.org/wiki/Actor_modelhttp://www.slideshare.net/YungLinHo/introduction-to-actor-m... 阅读全文

摘要： SparkContext 是spark的程序入口，相当于熟悉的‘main’函数。它负责链接spark集群、创建RDD、创建累加计数器、创建广播变量。/** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark * cluster, and can be used... 阅读全文

摘要： 了解RDD之前，必读UCB的论文，个人认为这是最好的资料，没有之一。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,* partiti... 阅读全文

摘要： spark支持YARN做资源调度器，所以YARN的原理还是应该知道的：http://www.socc2013.org/home/program/a5-vavilapalli.pdf 但总体来说，这是一篇写得一般的论文，它的原理没有什么特别突出的，而且它列举的数据没有对比性，几乎看不出YARN有什么优势。反正我看完的感觉是，YARN的资源分配在延迟上估计很糟糕。而实际使用似乎也印证了这个预感... 阅读全文

摘要： spark论文中说他使用了延迟调度算法，源于这篇论文：http://people.csail.mit.edu/matei/papers/2010/eurosys_delay_scheduling.pdf同时它也是hadoop的调度算法。Abstractdelayscheduling: when the job that should be scheduled next according to... 阅读全文

摘要： http://v.163.com/movie/2013/4/U/9/M93FDHRBE_M93FFFNU9.html 来自为知笔记(Wiz) 阅读全文

摘要： http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf ucb关于spark的论文，对spark中核心组件RDD最原始、本质的理解，没有比这个更好的资料了。必读。AbstractRDDs provide arestricted form of shared memory, based on coarse grained tran... 阅读全文

摘要： 必读：从官方的开发者页面着手，包括如何构建spark以及编码规范（强烈建议读读编程规范）等；https://cwiki.apache.org/confluence/display/SPARK/Contributing+to+Spark必读： 官方文档简介：http://spark.apache.org/docs/latest/，以及这里的所有超链接都应该看一遍。应该有个印象； 必读： RDD的论文... 阅读全文