kafka 使用入门-1

1. kafka命令

topic

查看kafka中的topic

kafka-topics.sh --list --zookeeper zkip:2181

创建topic

kafka-topics.sh --create --zookeeper 173.20.0.2:2181 --topic first --partitions 2 --replication-factor 3

producer/consumer

kafka-console-consumer.sh --topic first --bootstrap-server 173.20.0.3:9092 控制台消费

kafka-console-producer.sh --topic first --broker-list 173.20.0.3:9092 控制台生产

2. 生产者

1. 分区策略

在未指定partition的时候,是根据key的hash值模与当前的分区数
在没有指定key的情况下,轮询的方式分发

2.ISR

kafka为了保证数据的可靠性,采用的follower全部同步数据的方式
问题是当一个follower宕机之后,岂不是无法返回ack?
replica.lag.time.max.ms 同步leader阈值,在这个时间内同步成功的会加入到isr中,当isr队列中的副本同步完就会返回ack,当leader发生故障就会在isr中选举

这里面临这性能问题,所以kafka提供了三种ack配置
0:producer不等待broker的ack
1:producer只等待leader写完
-1(all):producer等待leader和follower全部落盘返回ack
极端情况下isr中没有达标的follower就会退化成1那种情况
在同步完follower之后未回复ack之前leader宕机,会出现数据重复的现象

3. 数据一致性问题

LEO(Log End Offset)
HW(High watermark)
消费者只能看到hw之前的数据,当leader宕机之后follower成为leader之后会删除其他副本hw到leo的数据,并让其他副本同步leader的数据

4. 幂等性

producer中的enable.idompotence设置为true
只能保证当次会话 当前分区的幂等性

3. 消费者

1. 消费方式

consumer采用pull模式从broker拉取数据 当无数据的时候会等待timeout时间再去pull

2. 分区分配策略

1. 轮询
把消费者组中订阅的所有topic当成一个整体,来轮询分配给消费者组中的consumer
前提条件,要保证当前消费者组中订阅的同一个或一组topic
2. 范围

3. offset的维护

通过消费者组+topic+partition唯一确定一个offset

4. 事务

客户端给一个transactionid,kafka将transactionid+pid存储在broker, 当producer宕机之后,重启之后拿着transactionid去broker获取旧当pid保证跨分区跨会话级别的exactly once