随笔分类 -  kafka

kafka 知识点整理
摘要：一个partition只能被同一个消费组内一个消费者消费，所以在同一时间点上，订阅到同一个partition的consumer必然属于不同的Consumer Group. 因此，如果设置的partition的数量小于consumer的数量，就会有消费者消费不到数据。所以，推荐partition的数量 阅读全文
posted @ 2019-01-21 15:11 宅山仔 阅读(744) 评论(0) 推荐(0)
kafka-安装
摘要：环境信息： 操作系统：centos jdk版本：1.8 kafka版本：2.12 kafka基于Web管理工具：kafka-manager-1.3.3.21 下载kafka_2.12-2.0.0.tgz 和 kafka-manager-1.3.3.21.zip 并解压： 编辑config/serve 阅读全文
posted @ 2019-01-21 14:25 宅山仔 阅读(379) 评论(0) 推荐(0)
linux kafka进程挂了 自动重启
摘要：使用crontab，定时监控 kafka进程，发现挂了后重启。 shell脚本如下： crontab设置如下，每一分钟检测一次： 阅读全文
posted @ 2018-11-01 23:27 宅山仔 阅读(4963) 评论(0) 推荐(0)
kafka manager遇到的一些问题
摘要：1.启动后第一个报错如下： [error] k.m.a.c.BrokerViewCacheActor - Failed to get broker metrics for BrokerIdentity(1,192.168.204.111,9999,false,true,Map(PLAINTEXT - 阅读全文
posted @ 2018-10-30 10:42 宅山仔 阅读(5774) 评论(0) 推荐(0)
kafka ConsumerConfig 配置
摘要： 阅读全文
posted @ 2018-10-26 11:20 宅山仔 阅读(3581) 评论(1) 推荐(0)
kafka ProducerConfig 配置
摘要：kafka-clients : 1.0.1 阅读全文
posted @ 2018-09-29 15:31 宅山仔 阅读(1187) 评论(0) 推荐(0)