【Kafka】知识总结

Kafka是什么？

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

Kafka架构

1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）
点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息
推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消
息监听者也是如此。
（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，临时订阅者
只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，即使当前订阅者不可用，处于
离线状态。

1）Producer ：消息生产者，就是向kafka broker发消息的客户端。
2）Consumer ：消息消费者，向kafka broker取消息的客户端
3）Topic ：可以理解为一个队列。
4）Consumer Group：这是用来实现一个消息的广播（发给所有的）和单播（发给任意一个
consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念上的）到
所有的CG，但每个partion只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个
consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将
consumer进行自由的分组而不需要多次发送消息到不同的topic。
5）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多
个topic。
6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic
可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序
的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体
（多个partition间）的顺序。
7）Offset：kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。例如你
想找位于2048的位置，只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka

Kafka分区

分区
消息发送时都被发送到一个topic，其本质就是一个目录，而topic是由一些Partition Logs(分区日志)组
成我们可以看到，每个Partition中的消息都是有序的，生产的消息被不断追加到Partition log上，其中的
每一个消息都被赋予了一个唯一的offset值。
1）分区的原因
（1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个
Partition组成，因此整个集群就可以适应任意大小的数据了；
（2）可以提高并发，因为可以以Partition为单位读写了。
2）分区的原则
（1）指定了patition，则直接使用；
（2）未指定patition但指定key，通过对key的value进行hash出一个patition
（3）patition和key都未指定，使用轮询选出一个patition。

副本（Replication）

同一个partition可能会有多个replication（对应 server.properties 配置中的
default.replication.factor=N）。没有replication的情况下，一旦broker 宕机，其上所有 patition 的数
据都不可被消费，同时producer也不能再将数据存于其上的patition。引入replication之后，同一个
partition可能会有多个replication，而这时需要在这些replication之间选出一个leader，producer和
consumer只与这个leader交互，其它replication作为follower从leader 中复制数据。

Kafka的写流程

1）producer先从zookeeper的 "/brokers/…/state"节点找到该partition的leader
2）producer将消息发送给该leader
3）leader将消息写入本地log
4）followers从leader pull消息，写入本地log后向leader发送ACK
5）leader收到所有ISR中的replication的ACK后，增加HW（high watermark，最后commit 的offset）
并向producer发送ACK