随笔分类 - kafka

摘要:Kafdrop 是一个用于查看 Kafka 主题和浏览消费者组的 Web UI docker run -d --rm -p 9000:9000 \ -e KAFKA_BROKERCONNECT=host:port,host:port \ -e JVM_OPTS="-Xms32M -Xmx64M" \ 阅读全文
posted @ 2022-01-15 15:41 废物大师兄 阅读(554) 评论(0) 推荐(0) 编辑
摘要:1. 前言 我们知道,生产者发送消息到主题,消费者订阅主题(以消费者组的名义订阅),而主题下是分区,消息是存储在分区中的,所以事实上生产者发送消息到分区,消费者则从分区读取消息,那么,这里问题来了,生产者将消息投递到哪个分区?消费者组中的消费者实例之间是怎么分配分区的呢?接下来,就围绕着这两个问题一 阅读全文
posted @ 2018-09-17 20:09 废物大师兄 阅读(57188) 评论(16) 推荐(44) 编辑
摘要:1. Apache Kafka是一个分布式流平台 1.1 流平台有三个关键功能: 1.2 Kafka通常用于两大类应用: 1.3 有几个特别重要的概念: Kafka is run as a cluster on one or more servers that can span multiple d 阅读全文
posted @ 2018-08-03 21:37 废物大师兄 阅读(5940) 评论(1) 推荐(5) 编辑
摘要:1. 启动Server http://kafka.apache.org/quickstart For Kafka, a single broker is just a cluster of size one, so nothing much changes other than starting a 阅读全文
posted @ 2018-08-02 19:49 废物大师兄 阅读(4949) 评论(0) 推荐(0) 编辑
摘要:复制 阅读全文
posted @ 2018-02-12 17:08 废物大师兄 阅读(1344) 评论(0) 推荐(1) 编辑
摘要:消息投递语义 阅读全文
posted @ 2018-02-11 14:34 废物大师兄 阅读(984) 评论(0) 推荐(1) 编辑
摘要:push vs pull 阅读全文
posted @ 2018-02-11 11:51 废物大师兄 阅读(1271) 评论(0) 推荐(1) 编辑
摘要:Producer API org.apache.kafka.clients.producer.KafkaProducer producer由一个缓冲池组成,这个缓冲池中维护着那些还没有被传送到服务器上的记录,而且有一个后台的I/O线程负责将这些记录转换为请求并将其传送到集群上去。 send()方法是 阅读全文
posted @ 2018-02-10 14:50 废物大师兄 阅读(2754) 评论(4) 推荐(0) 编辑
摘要:Step 1: Download the code Step 2: Start the server Step 3: Create a topic Step 4: Send some messages Step 5: Start a consumer Step 6: Setting up a mul 阅读全文
posted @ 2018-02-09 17:23 废物大师兄 阅读(876) 评论(0) 推荐(0) 编辑
摘要:kafka对于构建实时的数据管道和流应用是很有用的。 Apache Kafka是一个分布式的流平台。这是什么意思呢? 我们考虑流平台有三个关键的能力: Kafa有什么用呢? 它被用于两类应用: 那么Kafka是怎样做到这些事情的呢? 首先来看一些概念: Kafka是以集群方式运行的 Kafka集群将 阅读全文
posted @ 2018-02-09 15:47 废物大师兄 阅读(1892) 评论(0) 推荐(1) 编辑