随笔分类 - kafka

摘要:1. 前言 我们知道,生产者发送消息到主题,消费者订阅主题(以消费者组的名义订阅),而主题下是分区,消息是存储在分区中的,所以事实上生产者发送消息到分区,消费者则从分区读取消息,那么,这里问题来了,生产者将消息投递到哪个分区?消费者组中的消费者实例之间是怎么分配分区的呢?接下来,就围绕着这两个问题一 阅读全文
posted @ 2018-09-17 20:09 废物大师兄 阅读(47481) 评论(16) 推荐(41) 编辑
摘要:1. Apache Kafka是一个分布式流平台 1.1 流平台有三个关键功能: 1.2 Kafka通常用于两大类应用: 1.3 有几个特别重要的概念: Kafka is run as a cluster on one or more servers that can span multiple d 阅读全文
posted @ 2018-08-03 21:37 废物大师兄 阅读(5440) 评论(1) 推荐(5) 编辑
摘要:1. 启动Server http://kafka.apache.org/quickstart For Kafka, a single broker is just a cluster of size one, so nothing much changes other than starting a 阅读全文
posted @ 2018-08-02 19:49 废物大师兄 阅读(4784) 评论(0) 推荐(0) 编辑
摘要:复制 阅读全文
posted @ 2018-02-12 17:08 废物大师兄 阅读(1113) 评论(0) 推荐(1) 编辑
摘要:消息投递语义 阅读全文
posted @ 2018-02-11 14:34 废物大师兄 阅读(838) 评论(0) 推荐(1) 编辑
摘要:push vs pull 阅读全文
posted @ 2018-02-11 11:51 废物大师兄 阅读(1126) 评论(0) 推荐(1) 编辑
摘要:Producer API org.apache.kafka.clients.producer.KafkaProducer producer由一个缓冲池组成,这个缓冲池中维护着那些还没有被传送到服务器上的记录,而且有一个后台的I/O线程负责将这些记录转换为请求并将其传送到集群上去。 send()方法是 阅读全文
posted @ 2018-02-10 14:50 废物大师兄 阅读(2409) 评论(4) 推荐(0) 编辑
摘要:Step 1: Download the code Step 2: Start the server Step 3: Create a topic Step 4: Send some messages Step 5: Start a consumer Step 6: Setting up a mul 阅读全文
posted @ 2018-02-09 17:23 废物大师兄 阅读(765) 评论(0) 推荐(0) 编辑
摘要:kafka对于构建实时的数据管道和流应用是很有用的。 Apache Kafka是一个分布式的流平台。这是什么意思呢? 我们考虑流平台有三个关键的能力: Kafa有什么用呢? 它被用于两类应用: 那么Kafka是怎样做到这些事情的呢? 首先来看一些概念: Kafka是以集群方式运行的 Kafka集群将 阅读全文
posted @ 2018-02-09 15:47 废物大师兄 阅读(1505) 评论(0) 推荐(1) 编辑