摘要：一、基本思路 异步发送的基本思路就是：send的时候，KafkaProducer把消息放到本地的消息队列RecordAccumulator，然后一个后台线程Sender不断循环，把消息发给Kafka集群。 要实现这个，还得有一个前提条件：就是KafkaProducer/Sender都需要获取集群的配 阅读全文

摘要：一、相关概念 备份相关的角色 Kafka消息备份分三个角色：分别是Leader副本、Follower副本、ISR集合 Leader副本 负责直接响应client端的读写请求，即和生产者和消费者直接对接，生产者生产一条消息，直接进入Leader副本； Follower副本 作为特殊消费者，被动的接收l 阅读全文

摘要：1 启动入口Kafka.scala Kafka的启动入口是Kafka.scala的main()函数： 上面代码主要包含： 从配置文件读取kafka服务器启动参数的getPropsFromArgs()方法； 创建KafkaServerStartable对象； KafkaServerStartable对 阅读全文

摘要：topic 在kafka中消息是按照topic进行分类的；每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic parition 一个topic可以配置几个parition，每一个分区都是一个顺序的、不可变的消息队列， 并且可以持续的添加。分区中的消息都被分了一个序列号，称之为偏移量 阅读全文

摘要：1 什么是kafk Apache kafka是消息中间件的一种，在开始学习之前，先简单的解释一下什么是消息中间件。 举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失 阅读全文