摘要：
1、主备切换机制原理剖析与源码分析 2、注册机制原理剖析与源码分析 3、状态改变处理机制源码分析 4、资源调度机制源码分析（schedule()，两种资源调度算法）（核心） 一、主备切换机制原理 1、Master主备切换机制：实际上指的就是，在Active Master挂掉之后,切换到Standby 阅读全文
摘要：
sparkContext初始化机制 要点： 1、TaskSchedular如何注册，application、Excutor 如何反向注册 TaskScheduleImpl 即 TaskSchedular， SparkDestroySchedularBackend底层接收TaskScheduleImp 阅读全文
摘要：
一、spark的三种提交模式 1、第一种，Spark内核架构，即standalone模式，基于Spark自己的Master-Worker集群。 2、第二种，基于YARN的yarn-cluster模式。 3、第三种，基于YARN的yarn-client模式。 如果，你要切换到第二种和第三种模式，在提交 阅读全文
摘要：
一、窄依赖（Narrow Dependency,） 即一个RDD，对它的父RDD,只有简单的一对一的依赖关系。也就是说， RDD的每个partition ，仅仅依赖于父RDD中的一个partition，父 RDD和子RDD的partition之间的对应关系，是一对一的！这种情况下，是简单的RDD之间 阅读全文
摘要：
假设有这样一个文件，文件内容如下 要求按照班级分组取出每个班前三名，源码如下： topN的排序算法可以理解： 假如有三个山洞，一群土匪排着队来抢占山洞，按如下规则占领山洞，下面算法保证第一个山洞主人永远是最厉害的，以此类推 实现： 阅读全文