随笔分类 -  kafka技术实践及原理

摘要：Kafka消费者 1.1 消费者与消费者组 消费者与消费者组之间的关系 ​ 每一个消费者都隶属于某一个消费者组，一个消费者组可以包含一个或多个消费者，每一条消息只会被消费者组中的某一个消费者所消费。不同消费者组之间消息的消费是互不干扰的。 为什么会有消费者组的概念 ​ 消费者组出现主要是出于两个目的 阅读全文

摘要：kafka的生产者 1. 生产者客户端开发 ​ 熟悉kafka的朋友都应该知道kafka客户端有新旧版本，老版本采用scala编写，新版本采用java编写。随着kafka版本的升级，旧版本客户端已经快被完全替代了。因此，我们以新客户端为例进行介绍。 ​ 客户端开发的步骤如下： ​ 配置生产者客户端参 阅读全文

摘要：kafka技术分享02 kafka入门 1. 消息系统 ​ 所谓的Messaging System就是一组规范，企业利用这组规范在不同的系统之间传递语义准确对的消息，实现松耦合的异步数据传输。简单理解为系统A将消息发送给Messaging System，系统B从Messaging System中获取 阅读全文

摘要：kafka技术分享01 why we study kafka？ ​ 作为一名大数据工程师，我们所面对的大多数是数据密集型的应用，而非计算密集型的应用。对于数据密集型的应用，如何解决数据激增、数据复杂度增加以及数据变化速率快这类问题相当重要，它决定的应用的稳定与否。恰巧kafka对于解决此类问题有着非 阅读全文