摘要：Kafka的消息在broker上都是以log的形式进行储存管理的，本篇主要介绍log的管理，包括log结构、创建、读写、分段、清理等。 1 前言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个partition存储一部分Message。引用官方的一 阅读全文

摘要：Kafka 的 Server 端主要有三块内容：GroupCoordinator、Controller 和 ReplicaManager，其中，GroupCoordinator 的内容是与 Consumer 端紧密结合在一起的，简单来说就是，GroupCoordinator 是负责进行 consum 阅读全文

摘要：序 本文主要来讲一个kafka的group coordinator。在kafka0.9.0版本的时候，开始启用了新的consumer config，这个新的consumer config采用bootstrap.servers替代之前版本的zookeeper.connect，主要是要渐渐弱化zk的依赖 阅读全文

摘要：一、概述 大数据常用的选主机制 常用选主机制的缺点 Kafka Partition选主机制 二、大数据常用的选主机制 Leader选举算法非常多，大数据领域常用的有 以下两种: Zab(zookeeper使用); Raft； …… 它们都是Paxos算法的变种。 Zab协议有四个阶段: Leader 阅读全文

摘要：kafka在所有broker中选出一个controller，所有Partition的Leader选举都由controller决定。controller会将Leader的改变直接通过RPC的方式（比Zookeeper Queue的方式更高效）通知需为此作出响应的Broker。同时controller也 阅读全文