摘要： Kafka-文件管理 文件管理 保留数据是kafka的一个基本特性，kafaka不会一直保留数据，也不会等到所有消费者都读取了消息之后才删除消息。相反，kafka为每个主题配置了数据保留期限，规定数据被删除之前可以保留多长时间，或者清理数据之前可以保留的数据量大小。 因为在一个大文件里查找和删除消息 阅读全文

摘要： Kafka-分区分配规则 kafka的基本存储单元是分区。分区无法在多个broker间进行再细分，也无法在同一个broker的多个磁盘上进行再细分。所以，分区的大小受到单个挂载点可用空间的限制。 在配置kafka的时候，使用log.dirs参数来配置用于存储分区的目录清单。 分区分配 在创建主题时， 阅读全文

摘要： Kafka-处理请求 broker的大部分工作室处理客户端、分区副本和控制器发送给分区首领的请求。kafka提供了一个二进制协议（基于TCP），指定了请求消息的格式以及broker如何对请求作出响应--包括成功处理请求或在处理请求过程中遇到错误。客户端发起连接并发送请求，broker处理请求并作出响 阅读全文

摘要： Kafka-分区复制 复制功能是kafka架构的核心。kafka对自己的描述：一个分布式的、可分区的、可复制的提交日志服务。 复制之所以那么关键，是因为它可以在个别节点失效时仍能保证kafka的可用性和持久性。 kafka使用主题来组织数据，每个主题被分为若干个分区，每个分区有多个副本。那些副本被保 阅读全文

摘要： Kafka-控制器 控制器其实就是一个broker，只不过它除了具有一般broker的功能之外，还负责分区首领的选举。集群里第一个启动broker通过在zookeeper里创建一个临时节点/controller让自己成为控制器。其他broker在启动时也会尝试创建这个节点，不过它们会收到一个节点已存 阅读全文

摘要： Spark-作业执行流程概述 spark的作业和任务带哦度系统是其核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对底层到顶层的各个模块之间的调用和处理显的游刃有余。 相关术语 作业（job）：RDD中由行动操作所生成的一个或多个调度阶段 调度阶段（stage）：每个作业会因为RD 阅读全文

摘要： Kafka-独立消费者 有的时候，我们只需要一个消费者从一个主题的所有分区或者某个特定分区读取数据。这时就不需要消费者群组和再均衡了，只需要把主题或者分区分配给消费者，然后开始读取消息并提交偏移量。 如果是这样的话，就不需要订阅主题，取而代之的是为自己分配分区。 代码如下 import com.ch 阅读全文

摘要： Kafka-序列化器与反序列化器的使用(自定义消息类型) 代码如下 Customer /** * @Author FengZhen * @Date 2020-03-30 22:49 * @Description 自定义序列化器的实体类 */ public class Customer { priva 阅读全文

摘要： Kafka-再均衡监听器 在为消费者分配新分区或移除旧分区时，可以通过消费者API执行一些应用程序代码，在调用subscribe()方法时传进去一个ConsumerRebalanceListener实例就可以了。 public void onPartitionsRevoked(Collection< 阅读全文

摘要： Kafka-消费者-偏移量的提交方式 每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，可以追踪到哪些记录是被群组里的哪个消费者读取的。 更新分区当前位置的操作叫做提交。 消费者往一个叫做 _consumer_offset的特殊主题发送消息，消息里包含每个分区的 阅读全文