摘要： Zookeeper也可以实现分布式锁，下面记录下相关原理，主要参考文末书籍和博文。 原理 在分布式系统中，当多个系统或同一个系统的不同主机想使用某个共享资源时，需要使用互斥的手段，保证使用资源的合理性，防止相互之间读写的干扰。 举个栗子，当多个男生同时追求某位女生，其实同时只能有一个能和这位女士聊天 阅读全文

摘要： Zookeeper集群完成Leader选举后，会进行Leader和Follower的数据同步（或叫状态同步），完成同步是保证服务器数据一致，可以提供服务的前提，接下来记录下Zookeeper数据同步相关的内容，主要参考文末书籍和博文。 数据同步分类 Zookeeper中数据同步一共有四类，如下。 D 阅读全文

摘要： 接下来，记录下Zookeeper ZAB相关的内容，主要参考文末博文。 分布式一致性算法 分布式一致性算法可以保证多个数据节点上有一致的数据，目前有Paxos、Raft、Zab和Gossip几种，其中Zookeeper使用的是Zab，而Zab又和Raft比较类似，因此本文主要记录一下Raft和Zab 阅读全文

摘要： 接下来，记录下Zookeeper在Hadoop HA中相关的作用，部分内容参考文末博文。 HDFS高可用 Zookeeper的一个重要的应用就是实现Hadoop集群的高可用，在Hadoop 1.x版本中只有一个NameNode来负责整个集群的元数据管理，以及与client的交互，如果这个唯一的Nam 阅读全文

摘要： 下面记录一下Zookeeper使用相关的入门知识，包括基本命令、四种数据节点、watcher监听、访问控制列表ACL和相关API操作。 介绍 Zookeeper是基于Google关于Chubby Lock的论文来开源实际的，主要用于分布式架构进行协调和管理，在大数据框架中作为一个“润滑剂”而存在，协 阅读全文

摘要： 记录一下Mac下使用IDEA导入zookeeper源码，并debug测试的过程，全文参考了文末博文。 源码准备 github下载源码，地址为 "https://github.com/apache/zookeeper" ，选择对应的分支进行下载，这里选择的是3.4.14。 安装ant 官网（ "htt 阅读全文

摘要： 下面记录下YARN的服务组件和提交流程的基础知识，主要参考文末博文，其中 提交流程部分直接引用 ，感谢被引用的博主 "PeTu" 。 YARN介绍 YARN是在Hadoop2.0引入的，它的出现是历史的产物。在Hadoop1.0版本时，有JobTracker和TaskTracker来完成资源调度和任 阅读全文

摘要： 由于工作需要，需要使用Oracle，记录一下Centos6.5下安装，由于有一次失败的经历，安装成功后关机一直卡在Stoping Oracle Listeners，解决不了，无奈只能快照退回，重新安装。 本文环境 linux版本：Centos6.5 数据库版本：Oracle11.2.0 系统版本：M 阅读全文

摘要： 记录下和kafka相关的语义、不重复消息、不丢失数据、分区有序的内容，文中很多理解参考文末博文、书籍还有某前辈。 kafka语义 kafka中有三种语义，它对理解下面的不重复消费有帮助。 最多一次（at most once）：消息最多被处理一次，可能有消息丢失的风险。 至少一次（at least o 阅读全文

摘要： 记录下和kafka相关的LEO和HW的内容，文中很多理解参考文末书籍还有某前辈。 LEO&HW基本概念 1. Base Offset：是起始位移，该副本中第一条消息的offset，如下图，这里的起始位移是0，如果一个日志文件写满1G后（默认1G后会log rolling），这个起始位移就不是0开始了 阅读全文