kafka - 随笔分类 - zzzzMing

摘要：通常情况下，我们都是使用一套kafka集群处理业务。但有些情况需要使用另一套kafka集群来进行数据同步和备份，比如需要更高的 SLA～阅读全文

posted @ 2021-01-12 21:00 zzzzMing 阅读(6421) 评论(1) 推荐(1)

kafka rebalance解决方案 -incremental cooperative协议和static membership功能

摘要：在kafka2.4的时候，社区推出两个新feature来解决重平衡过程中stop the world的问题。 1. Incremental Rebalance Protocol（以下简称cooperative协议）：改进了eager协议（即旧重平衡协议）的问题，避免STW的发生 2. static membership：避免重起或暂时离开的消费者触发重平衡本篇接下来主要介绍这两点。阅读全文

posted @ 2020-12-23 20:19 zzzzMing 阅读(4311) 评论(1) 推荐(0)

什么,kafka能够从follower副本读数据了 —kafka新功能介绍

摘要：最近看了kafka2.4新版本的一些功能特性，不得不说，在kafka2.0以后，kafka自身就比较少推出一些新的feature了，基本都是一些修修补补的东西。倒是kafka connect和kafka stream相关的开发工作做的比较多。可能kafka的野心也不局限于要当一个中间件，而是要实现一阅读全文

posted @ 2020-12-02 20:31 zzzzMing 阅读(1828) 评论(1) 推荐(0)

详细解析kafka之 kafka消费者组与重平衡机制

摘要：消费组组（Consumer group）可以说是kafka很有亮点的一个设计。传统的消息引擎处理模型主要有两种，队列模型，和发布订阅模型。队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟队列数据结构类似，生产者产生消息，就是入队，消费者接收消息就是出队，并删除队列中数阅读全文

posted @ 2020-04-08 21:33 zzzzMing 阅读(18381) 评论(2) 推荐(4)

kafka实现无消息丢失与精确一次语义（exactly once）处理

摘要：在很多的流处理框架的介绍中，都会说kafka是一个可靠的数据源，并且推荐使用Kafka当作数据源来进行使用。这是因为与其他消息引擎系统相比，kafka提供了可靠的数据保存及备份机制。并且通过消费者位移这一概念，可以让消费者在因某些原因宕机而重启后，可以轻易得回到宕机前的位置。但其实kafka的可靠阅读全文

posted @ 2020-03-16 18:12 zzzzMing 阅读(3038) 评论(1) 推荐(1)

详细解析kafka之kafka分区和副本

摘要：本篇主要介绍kafka的分区和副本，因为这两者是有些关联的，所以就放在一起来讲了，后面顺便会给出一些对应的配置以及具体的实现代码，以供参考~ 1.kafka分区机制分区机制是kafka实现高吞吐的秘密武器，但这个武器用得不好的话也容易出问题，今天主要就来介绍分区的机制以及相关的部分配置。首先，从阅读全文

posted @ 2020-03-11 21:07 zzzzMing 阅读(35656) 评论(2) 推荐(9)

Mysql增量写入Hdfs（一） --将Mysql数据写入Kafka Topic

摘要：如何将 Mysql 数据写入 Kafka 呢？我们可以使用一个小工具。。。阅读全文

posted @ 2018-12-08 21:09 zzzzMing 阅读(4426) 评论(0) 推荐(1)

kafka connect，将数据批量写到hdfs完整过程

posted @ 2018-03-23 15:13 zzzzMing 阅读(15856) 评论(8) 推荐(1)

zzzzMing -大数据技术

蟹六跪而二螯,非蛇鳝之,无可寄托者,用心躁也

随笔分类 - kafka

公告