摘要： 一、再均衡剖析 ### 再均衡 ~~~ # 重平衡可以说是kafka为人诟病最多的一个点了。 ~~~ 重平衡其实就是一个协议，它规定了如何让消费者组下的所有消费者来分配topic中的每一个分区。 ~~~ 比如一个topic有100个分区，一个消费者组内有20个消费者， ~~~ 在协调者的控制下让组内 阅读全文

摘要： 一、位移提交 ### 位移提交 ~~~ Consumer需要向Kafka记录自己的位移数据，这个汇报过程称为提交位移(Committing Offsets) ~~~ Consumer 需要为分配给它的每个分区提交各自的位移数据 ~~~ 位移提交的由Consumer端负责的，Kafka只负责保管。__ 阅读全文

摘要： 一、反序列化剖析 ### 反序列化 ~~~ Kafka的broker中所有的消息都是字节数组，消费者获取到消息之后， ~~~ 需要先对消息进行反序列化处理，然后才能交给用户程序消费处理。 ### 消费者的反序列化器包括key的和value的反序列化器。 key.deserializer value. 阅读全文

摘要： 一、自定义反序列化 ### 创建一个maven项目：demo-08-customDeserializer ~~~ # 添加pom.xml依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kaf 阅读全文

摘要： 一、[订阅剖析：订阅 ### 主题和分区 ~~~ # Topic，Kafka用于分类管理消息的逻辑单元，类似与MySQL的数据库。 ~~~ Partition，是Kafka下数据存储的基本单元，这个是物理上的概念。 ~~~ 同一个topic的数据，会被分散的存储到多个partition中， ~~~ 阅读全文

摘要： 一、消费者参数详解：消息接收：必要参数配置 参数 说明 bootstrap.servers 向Kafka集群建立初始连接用到的host/port列表。客户端会使用这里列出的所有服务器进行集群其他服务器的发现，而不管是否指定了哪个服务器用作引导。这个列表仅影响用来发现集群所有服务器的初始主机。字符串形 阅读全文

摘要： 一、概念入门 ### [kafka高级特性解析] ~~~ [消费者/消费组] ~~~ [心跳机制] ### 消费者、消费组 ~~~ # 消费者从订阅的主题消费消息， ~~~ 消费消息的偏移量保存在Kafka的名字是__consumer_offsets 的主题中。 ~~~ 消费者还可以将自己的偏移量存 阅读全文

摘要： 一、心跳机制 二、消费者宕机，退出消费组，触发再平衡，重新给消费组中的消费者分配分区。 ### 由于broker宕机，主题X的分区3宕机，此时分区3没有Leader副本，触发再平衡， ~~~ 消费者4没有对应的主题分区，则消费者4闲置。 ### Kafka 的心跳是 Kafka Consumer 和 阅读全文

摘要： 一、生产者参数配置补充：参数设置方式： 二、补充参数： 参数名称 描述 retry.backoff.ms 在向一个指定的主题分区重发消息的时候，重试之间的等待时间。 比如3次重试，每次重试之后等待该时间长度，再接着重试。 在一些失败的场景，避免了密集循环的重新发送请求。 long型值，默认100。可 阅读全文

摘要： 一、实现ProducerInterceptor接口 ### 消息实体类： package cn.yanqi.kafka.demo.entity; public class User { private Integer userId; private String username; public I 阅读全文

摘要： 一、原理剖析 ### [kafka高级特性解析] ~~~ [生产者原理剖析] ~~~ [生产者参数配置] 二、原理剖析 ### 由上图可以看出：KafkaProducer有两个基本线程： ~~~ # 主线程： ~~~ 负责消息创建，拦截器，序列化器，分区器等操作，并将消息追加到消息收集器Recode 阅读全文

摘要： 一、官方封装类的实现 ### 包org.apache.kafka.clients.producer.internals 中分区器的默认实现： package org.apache.kafka.clients.producer.internals; import java.util.List; imp 阅读全文

摘要： 一、拦截器剖析 ### 拦截器 ~~~ # Producer拦截器（interceptor） ~~~ 和Consumer端Interceptor是在Kafka 0.10版本被引入的， ~~~ 主要用于实现Client端的定制化控制逻辑。 ~~~ # 对于Producer而言， ~~~ Interce 阅读全文

摘要： 一、自定义序列化器 ### 自定义序列化器 ~~~ 数据的序列化一般生产中使用avro。 ~~~ 自定义序列化器需要实现org.apache.kafka.common.serialization.Serializer<T>接口， ~~~ 并实现其中的serialize 方法。 ### 编程代码实现 阅读全文

摘要： 一、分区器剖析 ### 分区器 ~~~ # 默认（DefaultPartitioner）分区计算： ~~~ 如果record提供了分区号，则使用record提供的分区号 ~~~ 如果record没有提供分区号，则使用key的序列化后的值的hash值对分区数量取模 ~~~ 如果record没有提供分区 阅读全文

摘要： 一、生产者：消息发送 ### [kafka高级特性解析] ~~~ [数据生产流程剖析] ~~~ [生产者参数详解] ~~~ [生产者参数代码案例] ### 数据生产流程解析 ~~~ # Producer创建时，会创建一个Sender线程并设置为守护线程。 ~~~ 生产消息时，内部其实是异步流程，生产 阅读全文

摘要： 一、生产者配置参数代码实现 ### 创建maven项目：demo-04-kafka-properties ~~~ 配置pom.xml文件；导入依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId> 阅读全文

摘要： 一、序列化器剖析 ### 序列化器 ~~~ 由于Kafka中的数据都是字节数组，在将消息发送到Kafka之前需要先将数据序列化为字节数组。 ~~~ 序列化器的作用就是用于序列化要发送的消息的。 ~~~ Kafka使用org.apache.kafka.common.serialization.Seri 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、kafkaAutoConfiguration配置；创建新的主题：kafkaAutoConfiguration配置 二、新建主题，可以通过configuration配置 package com.yanqi.kafka.demo.config; import org.apache.kafka.cli 阅读全文

摘要： 一、服务端参数配置 ### 服务端参数配置 ~~~ $KAFKA_HOME/config/server.properties文件中的配置。 ### zookeeper.connect ~~~ 该参数用于配置Kafka要连接的Zookeeper/集群的地址。 ~~~ 它的值是一个字符串，使用逗号分隔Z 阅读全文

摘要： 一、SpringBoot_kafka实战：SpringBoot Kafka ### 创建spring_boot模块 ~~~ ——>在kafka_demo右键——>new module——>Spring Initializr——>Next ~~~ ——>填写NewModule信息——>Next ~~~ 阅读全文

摘要： 一、spring_boot编程代码实现 ### Demo02SpringbootApplication.java package com.yanqi.kafka.demo; import org.springframework.boot.SpringApplication; import org.s 阅读全文

摘要： 一、消费者实验代码 ### [kafka架构与实战] ~~~ [kakfa开发实战_消息发送] ~~~ [kafka开发实战_消息消费] ~~~ [kafka开发实战_消息推送偏移量] ### 消费者：MyProducer2 package com.yanqi.kafka.demo.producer 阅读全文

摘要： 一、创建maven工程：创建maven项目 ### 将pom.xml下添加成pom <packaging>pom</packaging> ### 删除src目录，创建目录模块 ~~~ ——>项目下面——>右键——>new module——>编辑如下内容——>finish——>END ### 在pom 阅读全文

摘要： 一、kafka开发实战_消息者消费 ### kafka消费消息 ~~~ 编程代码 package com.yanqi.kafka.demo.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.ap 阅读全文

摘要： 一、Kafka开发实战 ### [kafka架构与实战] ~~~ [kakfa开发实战_消息发送] ~~~ [kafka开发实战_消息消费] ### 消息的发送与接收 ~~~ 生产者主要的对象有： KafkaProducer ， ProducerRecord 。 ~~~ 其中KafkaProduce 阅读全文

摘要： 一、Kafka安装与配置：Java环境为前提 ### [kafka架构与实战] ~~~ [部署Java.v8u231] ~~~ [zookeeper.v3.4.14] ~~~ [kafka2.12-1.0.2] ### 查看自带的openjdk ~~~ # 查看系统自带的jdk环境 [root@ha 阅读全文

摘要： 一、kakfa生产与消费：验证zookeeper和kafka状态 ### 验证zookeeper状态 [root@hadoop ~]# zkServer.sh status ZooKeeper JMX enabled by default Using config: /opt/yanqi/serve 阅读全文

摘要： 一、基本架构 ### 消息和批次 ~~~ # Kafka的数据单元称为消息。 ~~~ 可以把消息看成是数据库里的一个“数据行”或一条“记录”。消息由字节数组组成。 ~~~ # 消息有键，键也是一个字节数组。 ~~~ 当消息以一种可控的方式写入不同的分区时，会用到键。 ~~~ # 为了提高效率，消息被 阅读全文

摘要： 一、核心概念 ### Producer：生产者创建消息。 ~~~ 该角色将消息发布到Kafka的topic中。 ~~~ broker接收到生产者发送的消息后，broker将该消息追加到当前用于追加数据的segment 文件中。 ~~~ # 一般情况下，一个消息会被发布到一个特定的主题上。 ~~~ 默 阅读全文

摘要： 一、概念和基本架构 ### [kafka架构与实战] ~~~ [kafka介绍] ~~~ [kafka优势] ~~~ [kafka应用场景] ~~~ [kafka基本架构] ~~~ [kafka核心概念] ### Kafka介绍 ~~~ Kafka是最初由Linkedin公司开发， ~~~ 是一个分 阅读全文

摘要： 附录一：报错处理一： ### 报错现象： [root@hadoop01 ~]# kafka-server-start.sh /opt/yanqi/servers/kafka_2.12/config/server.properties Java HotSpot(TM) 64-Bit Server VM 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、流对象 ### 流对象 ~~~ stream主要由：消息、生产者、消费者和消费组构成。 ~~~ Redis Stream的底层主要使用了listpack（紧凑列表）和Rax树（基数树）。 ### listpack ~~~ listpack表示一个字符串列表的序列化，listpack可用于存储字符 阅读全文

摘要： 一、RedisObject结构10种encoding ### 10种encoding ~~~ encoding 表示对象的内部编码，占 4 位。 ~~~ Redis通过 encoding 属性为对象设置不同的编码 ~~~ 对于少的和小的数据，Redis采用小的和压缩的存储方式，体现Redis的灵活性 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、压缩列表 ### 压缩列表 ~~~ 压缩列表（ziplist）是由一系列特殊编码的连续内存块组成的顺序型数据结构 ### 节省内存 ~~~ 是一个字节数组，可以包含多个节点（entry）。每个节点可以保存一个字节数组或一个整数。 ### 压缩列表的数据结构如下： ~~~ zlbytes：压缩列表 阅读全文

摘要： 一、RedisObject结构7种type ### 字符串对象 ~~~ C语言： 字符数组 "\0" ~~~ Redis 使用了 SDS(Simple Dynamic String)。用于存储字符串和整型数据。 ### buf[] 的长度=len+free+1 struct sdshdr{ //记录 阅读全文