Spark集群架构
摘要：
集群架构 SparkContext底层调度模块 Spark集群架构细化 阅读全文
posted @ 2019-09-24 23:23 洛谛19 阅读(180) 评论(0) 推荐(0) 编辑
java运行时数据区
摘要：
运行时数据区包括以下几个部分：程序计数器，堆，java栈，本地方法栈，方法区 1.程序计数器：当CPU需要执行指令时，需要从程序计数器中获取当前需要执行的指令所在存储单元的地址。用来指示执行哪条指令。 其大小不会随程序的执行而发生改变。 2.Java栈：java方法执行的内存模型。存放的时一个个栈帧 阅读全文
posted @ 2019-09-23 19:32 洛谛19 阅读(149) 评论(0) 推荐(0) 编辑
红黑树
摘要：
a. 红黑树本质上是一棵自平衡二叉查找树 b. 二叉查找树的特点： i. 左子树都小于根 ii. 右子树都大于根 c. 红黑树的特点： i. 节点非红即黑 ii. 根节点是黑节点 iii. 红节点的子节点一定是黑节点，但是黑节点的子节点不一定是红节点 iv. 最底层的叶子节点一定是黑色的空节点 v. 阅读全文
posted @ 2019-09-22 22:50 洛谛19 阅读(171) 评论(0) 推荐(0) 编辑
mapreduce的shufflue过程
摘要：
一、Map阶段： a. 文件切片之后，每一个切片对应一个MapTask b. 在MapTask中，默认按行读取，每读取一行，就调用一次map方法 c. map方法在执行的时候会将结果（这个结果中已经包含了分区信息）写到MapTask自带的缓冲区中。注意：每一个MapTask都会自带一个缓冲区 d. 阅读全文
posted @ 2019-09-22 22:42 洛谛19 阅读(229) 评论(0) 推荐(0) 编辑
Elasticsearch的选举
摘要：
一、bully算法 经过以下几个步骤 1.启动节点ping协调器,获取当前集群状态(节点信息,集群名称等),如果协调器没有启动一直到ping通为止 2.无论能ping通,都会拿到对象activeMaster现役master 3.判断activeMaster的数量,0说明当前集群没有master,1表 阅读全文
posted @ 2019-09-22 22:26 洛谛19 阅读(731) 评论(0) 推荐(0) 编辑
ZAB协议
摘要：
一、概述 1. Zookeeper Atomic Broadcast - Zookeeper原子广播协议，是专门为Zookeeper设计的协议 2. 这套协议在设计过程中，基于2PC算法来设计，利用PAXOS算法进行了改进 3. 作用：原子广播和崩溃恢复 二、原子广播 1. 原子广播是为了保证所有节 阅读全文
posted @ 2019-09-22 22:21 洛谛19 阅读(183) 评论(0) 推荐(0) 编辑
zookeeper选举机制
摘要：
一、概述 1. 第一个阶段：数据恢复阶段 每一个主机（节点）在启动之后，都会先查找当前主机（节点）中最大事务id 2. 第二个阶段：选举阶段 刚开始的时候，每一个节点都会选举自己当leader，并且将自己的选举信息发送给其他节点，和其他节点进行比较。经过多轮比较之后，会选出一个节点成为leader 阅读全文
posted @ 2019-09-22 22:18 洛谛19 阅读(366) 评论(0) 推荐(0) 编辑
