11 2021 档案
摘要:1、broker端的配置参数 官方说明:https://kafka.apache.org/documentation/#configuration 1、基本配置 #此服务器的代理id。 如果未设置,将生成一个唯一的代理id。为了避免zookeeper生成的broker id和用户配置的broker
阅读全文
摘要:参考文献:1、《深入理解Kafka-核心设计与实践原理(201901)》(第5章 日志存储) 1、文件目录布局 不考虑多副本的情况,一个分区对应一个日志(Log)。 日志分段(LogSegment)是为了防止Log过大,将Log切分为多个LogSegment,相当于一个巨型文件被平均分配为多个相对较
阅读全文
摘要:主题作为消息的归类,可以再细分为一个或多个分区,分区也可以看作对消息的二次归类。分区的划分不仅为Kafka提供了可伸缩性、水平扩展的功能,还通过多副本机制来为Kafka提供数据冗余以提高数据可靠性。 从Kafka的底层实现来说,主题和分区都是逻辑上的概念: 分区可以有一至多个副本。 每个副本对应一个
阅读全文