摘要： 集群架构 SparkContext底层调度模块 Spark集群架构细化 阅读全文

摘要： 运行时数据区包括以下几个部分：程序计数器，堆，java栈，本地方法栈，方法区 1.程序计数器：当CPU需要执行指令时，需要从程序计数器中获取当前需要执行的指令所在存储单元的地址。用来指示执行哪条指令。 其大小不会随程序的执行而发生改变。 2.Java栈：java方法执行的内存模型。存放的时一个个栈帧 阅读全文

摘要： a. 红黑树本质上是一棵自平衡二叉查找树 b. 二叉查找树的特点： i. 左子树都小于根 ii. 右子树都大于根 c. 红黑树的特点： i. 节点非红即黑 ii. 根节点是黑节点 iii. 红节点的子节点一定是黑节点，但是黑节点的子节点不一定是红节点 iv. 最底层的叶子节点一定是黑色的空节点 v. 阅读全文

摘要： 一、Map阶段： a. 文件切片之后，每一个切片对应一个MapTask b. 在MapTask中，默认按行读取，每读取一行，就调用一次map方法 c. map方法在执行的时候会将结果（这个结果中已经包含了分区信息）写到MapTask自带的缓冲区中。注意：每一个MapTask都会自带一个缓冲区 d. 阅读全文

摘要： 一、bully算法 经过以下几个步骤 1.启动节点ping协调器,获取当前集群状态(节点信息,集群名称等),如果协调器没有启动一直到ping通为止 2.无论能ping通,都会拿到对象activeMaster现役master 3.判断activeMaster的数量,0说明当前集群没有master,1表 阅读全文

摘要： 一、概述 1. Zookeeper Atomic Broadcast - Zookeeper原子广播协议，是专门为Zookeeper设计的协议 2. 这套协议在设计过程中，基于2PC算法来设计，利用PAXOS算法进行了改进 3. 作用：原子广播和崩溃恢复 二、原子广播 1. 原子广播是为了保证所有节 阅读全文

摘要： 一、概述 1. 第一个阶段：数据恢复阶段 每一个主机（节点）在启动之后，都会先查找当前主机（节点）中最大事务id 2. 第二个阶段：选举阶段 刚开始的时候，每一个节点都会选举自己当leader，并且将自己的选举信息发送给其他节点，和其他节点进行比较。经过多轮比较之后，会选出一个节点成为leader 阅读全文

摘要： 目的：写给自己看的，不如其他大神全，以后慢慢修修改改 一：如何判断数据是否垃圾数据 1.引用计数法 当创建一个对象时，为此对象分配一个引用计数器。当有其他对象引用这个对象时，计数器就+1。当引用失效了，计数器-1。 当一个对象的引用计数器=0时，此对象就可以被回收。 优点：原理简单，实现方便。 缺点 阅读全文