kafka 学习笔记

一 基本架构:

作为一个消息系统,其基本结构至少要包括生产组件(producer)以及消费组件(consumer).

 

1.kafka 生产者将消息写入kafka集群

2.kafka消费者将从集群中拉取消息。

 

 

二、kafka基本概念

 

1.主题(topic)

kafka将一组消息抽象归纳为一个主题

一个主题就是对消息的分类

生产者将消息发送到特定主题。

消费者从订阅的主题进行消费。

 

2.消息

消息是kafka通信的基本单位

有一个固定的消息头和可变的消息结构组成

每一条消息成为message,或者record

 

3.分区和副本

每个主题下分为一个或多个分区(partition)

每个分区由一系列有序的消息组成。

每个分区物理上对应一个文件夹。

分区命令规则:topic名称-分区编号,从0开始。

 

每个分区有一个或者多个副本,分布在集群的不同代理上。提高高可用行

分区副本与log日志一一对应。

 

posted @ 2018-09-19 09:24  Mr-Lee-long  阅读(149)  评论(0编辑  收藏  举报