随笔分类 -  kafka学习

KafkaManager对offset的两种管理方式
摘要：OffsetManager主要提供对offset的保存和读取，每个broker都有一个OffsetManager实例，kafka管理topic的偏移量有2种方式： 1、ZookeeperOffsetManager：调用zookeeper来存储和接收offset Consumer offset:/co 阅读全文
posted @ 2018-01-18 18:40 麻雀虽小五脏俱全 阅读(1051) 评论(0) 推荐(0)
kafka进程总是在启动一段时间后自动停止
摘要：解决办法： 进行启动，到现在为止 kafka 还在正常运行。和不加 -daemon 区别在于： 为什么以守护进程模式启动就行？为什么呢？ 阅读全文
posted @ 2017-03-03 16:47 麻雀虽小五脏俱全 阅读(13324) 评论(0) 推荐(0)
kafka集群和zookeeper集群安装
摘要：因为工作需求需要进行kafka集群和zookeeper集群的安装。 第一步：准备工作。 1、准备三个机器节点，并配置在vim /etc/hosts 中： 192.168.0.8 node1 192.168.0.9 node2 192.168.0.10 node3 2、下载安装包：zookeeper- 阅读全文
posted @ 2016-09-08 23:52 麻雀虽小五脏俱全 阅读(653) 评论(0) 推荐(0)
kafka的相关操作脚本
摘要：总结最近用到的kafka相关命令和脚本。 1、创建Topic./kafka-topics.sh --zookeeper cc13-141:2182 --topic mytopic --replication-factor 1 --partitions 1 --create 2、Topic列表./ka 阅读全文
posted @ 2016-07-18 19:52 麻雀虽小五脏俱全 阅读(5043) 评论(0) 推荐(0)
partition的分配策略简单代码实现
摘要：先说说partition的好处：Partition的好处是可以并发的获取同类数据，提高效率。 第一步需要实现Partitioner对象。 public class ProducerPartitioner implements Partitioner<String> { public static f 阅读全文
posted @ 2016-04-06 23:46 麻雀虽小五脏俱全 阅读(687) 评论(0) 推荐(0)
Kafka中Producer端封装自定义消息
摘要：我们知道KeywordMessage就是被kafka发送和存储的对象。所以只需要模拟出这个就可以发送自定义消息了。 比如我需要将用户的id，user,age,address和访问ip和访问date记录为一个消息。我就自定义一个消息格式（id-user-age-address-ip-date）。 我立 阅读全文
posted @ 2016-04-06 23:23 麻雀虽小五脏俱全 阅读(6878) 评论(1) 推荐(1)
Consumer group理解深入
摘要：每一个consumer实例都属于一个consumer group，每一条消息只会被同一个consumer group里的一个consumer实例消费。（不同consumer group可以同时消费同一条消息） 很多传统的message queue都会在消息被消费完后将消息删除，一方面避免重复消费，另 阅读全文
posted @ 2016-04-06 22:14 麻雀虽小五脏俱全 阅读(2201) 评论(1) 推荐(0)
Topic 与 Partition
摘要：Topic在逻辑上可以被认为是一个queue队列，每条消息都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。为 了使得Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition在物理上对应一个文件夹，该文件夹 下存储这个p 阅读全文
posted @ 2016-04-06 22:05 麻雀虽小五脏俱全 阅读(4036) 评论(0) 推荐(0)
Push OR Pull
摘要：作为一个messaging system，Kafka遵循了传统的方式，选择由producer向broker push消息并由consumer从broker pull消息。一些logging-centric system，比如Facebook的Scribe和Cloudera的Flume,采用非常不同的 阅读全文
posted @ 2016-04-06 21:48 麻雀虽小五脏俱全 阅读(378) 评论(0) 推荐(0)
kafka中配置细节
摘要：今天遇到kafka发送消息的时候，一直报Kafka“Failed to send messages after 3 tries”错误，根据网上找问题，修改各种配置参数，各种重启，还是解决不了问题。 郁闷的关键在于 ，kafka装在四台机器上面，修改参数，然后停止重启各种不方便。 最后发现是因为同事昨 阅读全文
posted @ 2016-04-01 13:06 麻雀虽小五脏俱全 阅读(325) 评论(0) 推荐(0)
kafka原理
摘要：今天因为工作接触kafka,先说说kafka是干嘛的。 kafka: 说简单点他就是一个基于分布式的消息发布-订阅系统。 然后再理解一些专有名词： Kafka 专用术语 Broker：Kafka 集群包含一个或多个服务器，这种服务器被称为 broker。 Topic：每条发布到 Kafka 集群的消 阅读全文
posted @ 2016-03-31 18:36 麻雀虽小五脏俱全 阅读(1505) 评论(0) 推荐(0)