摘要：
先说说partition的好处：Partition的好处是可以并发的获取同类数据，提高效率。 第一步需要实现Partitioner对象。 public class ProducerPartitioner implements Partitioner<String> { public static f 阅读全文
posted @ 2016-04-06 23:46
麻雀虽小五脏俱全
阅读(687)
评论(0)
推荐(0)
摘要：
我们知道KeywordMessage就是被kafka发送和存储的对象。所以只需要模拟出这个就可以发送自定义消息了。 比如我需要将用户的id，user,age,address和访问ip和访问date记录为一个消息。我就自定义一个消息格式（id-user-age-address-ip-date）。 我立 阅读全文
posted @ 2016-04-06 23:23
麻雀虽小五脏俱全
阅读(6881)
评论(1)
推荐(1)
摘要：
每一个consumer实例都属于一个consumer group，每一条消息只会被同一个consumer group里的一个consumer实例消费。（不同consumer group可以同时消费同一条消息） 很多传统的message queue都会在消息被消费完后将消息删除，一方面避免重复消费，另 阅读全文
posted @ 2016-04-06 22:14
麻雀虽小五脏俱全
阅读(2203)
评论(1)
推荐(0)
摘要：
Topic在逻辑上可以被认为是一个queue队列，每条消息都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。为 了使得Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition在物理上对应一个文件夹，该文件夹 下存储这个p 阅读全文
posted @ 2016-04-06 22:05
麻雀虽小五脏俱全
阅读(4037)
评论(0)
推荐(0)
摘要：
作为一个messaging system，Kafka遵循了传统的方式，选择由producer向broker push消息并由consumer从broker pull消息。一些logging-centric system，比如Facebook的Scribe和Cloudera的Flume,采用非常不同的 阅读全文
posted @ 2016-04-06 21:48
麻雀虽小五脏俱全
阅读(378)
评论(0)
推荐(0)
浙公网安备 33010602011771号