kafka 使用入门-1

1. kafka命令

topic

查看kafka中的topic

	kafka-topics.sh --list --zookeeper zkip:2181

创建topic

	kafka-topics.sh --create --zookeeper 173.20.0.2:2181 --topic first --partitions 2 --replication-factor 3

producer/consumer

	kafka-console-consumer.sh --topic first --bootstrap-server 173.20.0.3:9092 控制台消费

	kafka-console-producer.sh --topic first --broker-list 173.20.0.3:9092 控制台生产

2. 生产者

1. 分区策略

	在未指定partition的时候,是根据key的hash值模与当前的分区数 
	在没有指定key的情况下,轮询的方式分发

2.ISR

	kafka为了保证数据的可靠性,采用的follower全部同步数据的方式
	问题是当一个follower宕机之后,岂不是无法返回ack?
	replica.lag.time.max.ms 同步leader阈值,在这个时间内同步成功的会加入到isr中,当isr队列中的副本同步完就会返回ack,当leader发生故障就会在isr中选举
	
	这里面临这性能问题,所以kafka提供了三种ack配置
	0:producer不等待broker的ack
	1:producer只等待leader写完
	-1(all):producer等待leader和follower全部落盘返回ack 
	极端情况下isr中没有达标的follower就会退化成1那种情况
	在同步完follower之后未回复ack之前leader宕机,会出现数据重复的现象

3. 数据一致性问题

	LEO(Log End Offset)
	HW(High watermark)
	消费者只能看到hw之前的数据,当leader宕机之后follower成为leader之后会删除其他副本hw到leo的数据,并让其他副本同步leader的数据

4. 幂等性

	producer中的enable.idompotence设置为true
	只能保证当次会话 当前分区的幂等性

3. 消费者

1. 消费方式

	consumer采用pull模式从broker拉取数据 当无数据的时候会等待timeout时间再去pull

2. 分区分配策略

	1. 轮询
	把消费者组中订阅的所有topic当成一个整体,来轮询分配给消费者组中的consumer
	前提条件,要保证当前消费者组中订阅的同一个或一组topic
	2. 范围

3. offset的维护

	通过消费者组+topic+partition唯一确定一个offset

4. 事务

	客户端给一个transactionid,kafka将transactionid+pid存储在broker, 当producer宕机之后,重启之后拿着transactionid去broker获取旧当pid保证跨分区跨会话级别的exactly once