1-【源码剖析】kafka核心概念 - 实践

从今天开始开始在csdn上记录学习的笔记，主要包括以下几个方面：

• kafka
• flink
• doris

本系列笔记主要记录Kafka学习相关的内容。在进行kafka源码学习之前，先介绍一下Kafka的核心概念。

消息

kafka中最基本的数据单元，由key和value组成，都是就是消息字节数组。key主要来建立路由功能，value是真正的管用负载。

topic&分区&Log

topic是用于存储消息的逻辑概念，是一个消息集合。

不重叠的，每个消息在添加到分区时，都会分配一个编号offset，来保证消息在分区内的顺序。就是每个topic可以划分为多个分区，每个分区内的数据

分区在逻辑上对应着一个Log，当生产者将消息写入分区时，实际上是写入到了分区对应的Log中。Log是一个逻辑概念，可以对应磁盘上的一个文件夹，Log由多个Segment组成，每个Segment对应一个日志文件和索引文件。

保留策略&日志压缩

发送到kafka的内容会被保存下来，但不会像数据库那样永久保存，为了避免数据库被占满，kafka有相应的保留策略，周期性删除陈旧消息。kafka中有两种保留策略：基于时间和topic大小的保留策略。

kafka会对存储的消息进行压缩，以减少磁盘占用。

broker

一个单独的kafka server就是一个broker。broker的重要工作就是接收生产者发过来的消息，同时接收消费者的请求，返回存储的数据。一般一个broker占一台物理机器。

副本

kafka对消息进行了冗余备份，每个分区允许有多个副本，每个副本消息是一样的。每个分区至少有一个副本，所有副本中选取一个当做Leader，其它副本从Leader处拉取消息。

通过一般情况下，同一分区的多个副本会分配到不同的broker上。一个topic包括多个分区，每个分区的数据是不一样的，可以搭建水平扩展，当数据量变大时能够增大分区的数量；每个分区有多个副本，多副本情况下可丢失其中某个副本。

ISR集合

ISR集合表示目前“可用”且消息量与leader差不多的副本集合，是整个副本集合的一个子集。ISR必须满足两个条件：1副本所在节点必须维持着与zookeeper的连接；2副本结果一条消息的offset与Leader副本的的最后一条消息offset不能超过指定的阈值。每个分区的Leader副本都会维护此分区的ISR集合。

参考书籍《Apache Kafka源码剖析》