摘要：
__consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+ 分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic 进行 compact，也就是每个 group.id+topic 阅读全文
posted @ 2022-03-17 17:02
郭慕荣
阅读(95)
评论(0)
推荐(0)
摘要：
总结： 阅读全文
posted @ 2022-03-16 22:13
郭慕荣
阅读(151)
评论(0)
推荐(0)
摘要：
总结： 阅读全文
posted @ 2022-03-16 16:26
郭慕荣
阅读(439)
评论(0)
推荐(0)
摘要：
1、coordinator:辅助实现消费者组的初始化和分区的分配。coordinator节点选择 = groupid的hashcode值 % 50( __consumer_offsets的分区数量)例如: groupid的hashcode值 = 1，1% 50 = 1，那么__consumer_of 阅读全文
posted @ 2022-03-16 16:19
郭慕荣
阅读(134)
评论(0)
推荐(0)
摘要：
1)Kafka 本身是分布式集群，可以采用分区技术，并行度高 2)读数据采用稀疏索引，可以快速定位要消费的数据 3)顺序写磁盘：Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端， 为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机 阅读全文
posted @ 2022-03-16 10:26
郭慕荣
阅读(235)
评论(0)
推荐(0)
摘要：
1.index为稀疏索引，大约每往log文件写入4kb数据，会往index文件写入一条索引。注意: 参数log.index.interval.bytes默认4kb。2.Index文件中保存的offset为相对offset，这样能确保offset的值所占空间不会过大， 因此能将offset的值控制在固 阅读全文
posted @ 2022-03-16 09:55
郭慕荣
阅读(507)
评论(0)
推荐(0)
摘要：
正常情况下，Kafka本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某 些broker宕机，会导致Leader Partition过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的 br 阅读全文
posted @ 2022-03-14 16:48
郭慕荣
阅读(337)
评论(0)
推荐(0)
摘要：
1)Leader故障(1) Leader发生故障之后，会从ISR中选出一个新的Leader(2)为保证多个副本之间的数据一致性，其余的Follower会先 将各自的log文件高于HW的部分截掉，然后从新的Leader同步 数据。注意:这只能保证副本之间的数据一致性，并不能保 证数据不丢失或者不重复。 阅读全文
posted @ 2022-03-14 15:10
郭慕荣
阅读(216)
评论(0)
推荐(0)
摘要：
1:新增字段并添加唯一索引alter table 表名 add 字段名称 varchar(128) DEFAULT NULL COMMENT '商品唯一标志',add unique index uniq_goods_unique(字段名); 阅读全文
posted @ 2022-03-14 14:33
郭慕荣
阅读(27)
评论(0)
推荐(0)
摘要：
1、控制器（Broker）选举 所谓控制器就是一个Borker，在一个kafka集群中，有多个broker节点，但是它们之间需要选举出一个leader，其他的broker充当follower角色。集群中第一个启动的broker会通过在zookeeper中创建临时节点/controller来让自己成为 阅读全文
posted @ 2022-03-14 10:45
郭慕荣
阅读(488)
评论(0)
推荐(0)
浙公网安备 33010602011771号