kafka消费者数据可靠性

[root@node02 node02]# kafka-topics.sh --zookeeper node02:2181,node03:2181/kafka --create --topic xxoo --partitions 2 --replication-factor 3

[root@node02 node02]# kafka-topics.sh --zookeeper node02:2181,node03:2181/kafka --describe --topic xxoo
Topic:xxoo    PartitionCount:2    ReplicationFactor:3    Configs:
    Topic: xxoo    Partition: 0    Leader: 3    Replicas: 3,2,1    Isr: 3,2,1
    Topic: xxoo    Partition: 1    Leader: 1    Replicas: 1,3,2    Isr: 1,3,2

在broker1 中/var/msb/kafka下的data_log 里xxoo-0  xxoo-1  topic+分区  xxoo-1是xxoo-0的追随者 只做同步  增删改都是xxoo-1  
broker2中也一样

[root@node02 xxoo-0]# ls
00000000000000000000.index  00000000000000000000.log  00000000000000000000.timeindex  leader-epoch-checkpoint
log 是存储数据的  数据当前为0
index 是当前的偏移量
timeindex 是时间戳索引（是偏移量索引的二分索引）  需要拿时间戳索引找index 索引 在拿偏移量去数据log里找（数据条目偏移加上位置偏移）

ll -h
-rw-r--r--. 1 root root 10M Apr 22 18:34 00000000000000000000.index
-rw-r--r--. 1 root root   0 Apr 22 18:34 00000000000000000000.log
-rw-r--r--. 1 root root 10M Apr 22 18:34 00000000000000000000.timeindex

[root@node02 xxoo-0]# jps
2659 Kafka
4484 Jps
2616 QuorumPeerMain

lsof -Pnp 2659
P:端口号
n：显示端口号  不要显示别名  
p:显示进程的pid

 

 文件描述符

 

mem 开辟了内存空间的

cwd currentWorkDirectory 当前工作目录

rtd root dir  当前根目录

txt  文本段

java    2659 root  152u      REG                8,3         0 52174674 /var/msb/kafka-logs/xxoo-1/00000000000000000000.log
java    2659 root  153u      REG                8,3         0  3475843 /var/msb/kafka-logs/xxoo-0/00000000000000000000.log

java    2659 root  mem       REG                8,3  10485760  3475854 /var/msb/kafka-logs/xxoo-0/00000000000000000000.index
java    2659 root  mem       REG                8,3  10485756 52174681 /var/msb/kafka-logs/xxoo-1/00000000000000000000.timeindex

 TCP 192.168.1.137:47642->192.168.1.139:2181 (ESTABLISHED)

java    2659 root  124u     IPv6              39938       0t0      TCP 192.168.1.137:9092 (LISTEN)

kafka-dump-log.sh --files 00000000000000000000.log

 

 

 

 position 是记录文件在字节数组中位置 可以下次直接定位到这里 离他最近的如果需要定位到110 那么直接定位到108

timestamp 是和index 索引挂钩 以一个时间消费数据

 

 

 

当为0 时 producer只发送推送消息 不确认

1 producer 只要到达leader就直接返回

-1 需要经过所有副本flower同步

ISR 在10秒内需要向leader 发送心跳 并同步数据

若无法在10秒内发送数据心跳给leader 那么leader就会将它致为OSR

那么现有就会只有2个节点能同步数据

 

route add -host 192.168.1.139 gw 127.0.0.1