[KAFKA] kafka的理解(一)

1.kafka是一个分布式的消息队列,缓存系统,消息的发布和订阅系统。
2.始于Linkedin公司,开源于apache。
3.包含生产者,消费者,broker。
4.每秒支持百万消息处理。
5.支持多个生成者,多个消费者,多个broker
6.生成者产生数据,按topic分类数据,对数据进行分区,数据以批的形式,发送给broker。
7.broker在zookeeper上注册,第一个注册成功的broker成为controler,负责选举多副本数据的leader,剩下的副本成为follower。
8.通常broker的数量要大于分区的数量,这样可以保证数据分布均匀,避免数据倾斜。
9.数据在broker中,同时以多分区和多副本的形式存在。一个broker挂掉,会选出数据最新的borker为新的leader。
10.leader节点复制接受生成者的请求和消费者的请求,其余的副本可以异步进行数据的同步。

posted on 2020-09-04 23:29  larry66  阅读(123)  评论(0)    收藏  举报