摘要：“RDD是由不同的partition组成的，transformation和action是在partition上面进行的；而在storage模块内部，RDD又被视为由不同的block组成，对于RDD的存取是以block为单位进行的，本质上partition和block是等价的，只是看待的角度不同。在S... 阅读全文

摘要：主要组件：BlockManager、BlockManagerMaster、BlockManagerWorker、BlockManagerMasterActor、BlockManagerSlaveActor……存储模块相关的组件，不论是Driver还是Worker，都是在SparkEnv 中实例化的v... 阅读全文

摘要：上周末参加了IBM Analytics举办的“大数据黑客马拉松（Big Data Hackathon）北京站”比赛，4个人组队拿到了第一名，非常的开心，也非常的不容易，我们四个wesor像共事了很久一样，各司其职配合默契，拿下了最后的锦标。第一天9点到晚上11点多，本想熬夜可是受限于主办方场地，第二... 阅读全文