月影舞华

摘要： 第一次看源码还是Spark 1.02。这次看新源码发现调度方式有了一些新的特征，在这里随便写一下。 不变的是，master还是接收Appclient和worker的消息，并且在接收RegisterApplication等消息后会执行一遍schedule()。schedule()依旧会先找到空闲的wo 阅读全文

摘要： 此文旨在对spark storage模块进行分析，整理自己所看所得，等以后再整理。 ok，首先看看SparkContext中sparkEnv相关代码： 1 private[spark] def createSparkEnv( 2 conf: SparkConf, 3 isLocal: Boolean 阅读全文