摘要：
1.index为稀疏索引，大约每往log文件写入4kb数据，会往index文件写入一条索引。注意: 参数log.index.interval.bytes默认4kb。2.Index文件中保存的offset为相对offset，这样能确保offset的值所占空间不会过大， 因此能将offset的值控制在固 阅读全文
posted @ 2022-03-16 09:55
郭慕荣
阅读(500)
评论(0)
推荐(0)
摘要：
正常情况下，Kafka本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某 些broker宕机，会导致Leader Partition过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的 br 阅读全文
posted @ 2022-03-14 16:48
郭慕荣
阅读(330)
评论(0)
推荐(0)
摘要：
1)Leader故障(1) Leader发生故障之后，会从ISR中选出一个新的Leader(2)为保证多个副本之间的数据一致性，其余的Follower会先 将各自的log文件高于HW的部分截掉，然后从新的Leader同步 数据。注意:这只能保证副本之间的数据一致性，并不能保 证数据不丢失或者不重复。 阅读全文
posted @ 2022-03-14 15:10
郭慕荣
阅读(210)
评论(0)
推荐(0)
摘要：
1:新增字段并添加唯一索引alter table 表名 add 字段名称 varchar(128) DEFAULT NULL COMMENT '商品唯一标志',add unique index uniq_goods_unique(字段名); 阅读全文
posted @ 2022-03-14 14:33
郭慕荣
阅读(24)
评论(0)
推荐(0)
摘要：
1、控制器（Broker）选举 所谓控制器就是一个Borker，在一个kafka集群中，有多个broker节点，但是它们之间需要选举出一个leader，其他的broker充当follower角色。集群中第一个启动的broker会通过在zookeeper中创建临时节点/controller来让自己成为 阅读全文
posted @ 2022-03-14 10:45
郭慕荣
阅读(479)
评论(0)
推荐(0)
摘要：
一：Kafka 副本 4.3.1 副本基本信息(1)Kafka 副本作用:提高数据可靠性。(2)Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性;太多副本会 增加磁盘存储空间，增加网络上数据传输，降低效率。(3)Kafka 中副本分为:Leader 和 Follower。Ka 阅读全文
posted @ 2022-03-14 10:19
郭慕荣
阅读(289)
评论(0)
推荐(0)
摘要：
1.kafka只对已提交的消息做有限度的持久化保证。已提交的消息：当kafka的若干个Broker成功地接收一条消息并写入到日志文件后，会告诉生产者程序这条消息已提交成功。有限度的持久化保证：假如你的消息保存在N个kafka Broker，至少有一个Broker是存活的。2.消息可能丢失的场景消息可 阅读全文
posted @ 2022-03-12 17:18
郭慕荣
阅读(153)
评论(0)
推荐(0)
摘要：
问题举例：假设网站有一个数据库配置文件db.php，通过git做版本控制，已经将这个文件提交到git库中。但是本地的数据库配置是读取的本地数据库，所以希望这个db.php文件在每次提交代码的时候不被提交。说明：通过.gitignore是无法办到的，因为db.php已经加入版本控制了。解决办法： # 阅读全文
posted @ 2022-03-04 16:15
郭慕荣
阅读(269)
评论(0)
推荐(0)
摘要：
博客地址：https://blog.csdn.net/jack1liu/article/details/103305698?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank 阅读全文
posted @ 2022-02-23 09:58
郭慕荣
阅读(41)
评论(0)
推荐(0)
摘要：
Redis Cluster将所有的数据划分为16384个槽位，它比codis的1024个槽位划分的更为精细。每个节点负责一部分数据。槽位的信息存储于每个节点中，当Redis Cluster的客户端连链接集群时候，也会得到一份集群的槽位配置信息。这样当客户端想要查找某个key时，可以直接定位到目标节点 阅读全文
posted @ 2022-02-20 16:13
郭慕荣
阅读(86)
评论(0)
推荐(0)
浙公网安备 33010602011771号