钻研spark

摘要： 0 分布式并行图计算的进化路线：pregel => graphlab => GraphX => graphFrame 1）pregel 是谷歌很早开发的一个分布式图计算系统，类似于mapreduce将大数据的处理分成两个阶段：map 和 reduce，谷歌将图计算分成三个阶段GAS： gather 阅读全文

摘要： Shuffle是性能调优的一个重点，它的定义是： 计算过程中，要将某种具有共同特征的一类数据汇聚到一个计算节点上，例如在wordCount中要将相同的单词汇聚到同一个节点才能计算出单词的个数，这种把数据重新打乱然后汇聚到不同节点的过程就是shuffle。 在shuffle过程中，要进行中间结果的持久 阅读全文

摘要： 1 架构 scheduler 模块主要包括两个类：DAGScheduler 和 TaskScheduler DAGScheduler 的主要作用是根据job建立DAG，将DAG划分为不同的Stage，再将每个Stage划分成一组task，最后将task分配给TaskScheduler， TaskSc 阅读全文

摘要： 概论 driver与worker的计算关系 executor部分的逻辑比较直接： 如上图所示，在driver进程的运行空间里，创建一个context变量，context变量通过Cluster Manager确立起与worker之间的联系，每个worker完成主程序分发下来的部分任务。 task的执行 阅读全文

摘要： 0 数据容错机制： 1）数据检查点 2）记录数据更新， RDD使用的lineage是记录数据更新 1 rdd是什么： 1.1 rdd的构成：rdd是只读的分布式的存储在worker上的数据集合， 比如 JavaRDD<String> record; 是从hdfs上创建出来的用户行为信息，一个条记录是 阅读全文

摘要： 1RDD：弹性数据集，如果把RDD对应到单机程序中的变量，类似于一个数组，他是相同类型变量的一个线性集合，但是RDD是分布在不同worker上的，一个sparkJob中的变量，除了RDD都是存储在本地也就是master机器driver进程的空间内存里的，而RDD是存在很多worker机器的execu 阅读全文

摘要： Learn vim and it will be your last text editor. There isn’t any better text editor that I know of. It is hard to learn, but incredible to use. I sugge 阅读全文