摘要: 很多用户都有这样的需求:实时监控某个topic各分区在broker上所占的磁盘空间大小总和。Kafka并没有提供直接的脚本工具用于统计这些数据。 如果依然要实现这个需求,一种方法是通过监控JMX指标得到分区当前总的日志大小,然后手动相加所有分区的值得出;另一种方法就是使用1.0.0引入的Descri阅读全文
posted @ 2017-11-30 16:35 huxihx 阅读(49) 评论(0) 编辑
摘要: 在网上碰到的问题,想了下使用现有的API还是可以实现的。 首先,需要引入Kafka服务器端代码,比如加入Kafka 1.0.0依赖: Maven <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</arti阅读全文
posted @ 2017-11-14 11:48 huxihx 阅读(96) 评论(0) 编辑
摘要: 千呼万唤始出来,经过7年的发展与完善,Apache Kafka 1.0.0正式发布!在笔者看来,比起1.0.0引入的新功能,此版本最大的意义在于标识Kafka各种组件功能的稳定性。不过我们还是来看下1.0.0引入的一些新功能: Kafka Streams API的优化:增加了一些全新的操作算子(op阅读全文
posted @ 2017-11-02 09:47 huxihx 阅读(239) 评论(0) 编辑
摘要: 关于Kafka幂等producer设计与实现的一些讨论阅读全文
posted @ 2017-10-23 22:20 huxihx 阅读(331) 评论(2) 编辑
摘要: ~~~这是一篇有点长的文章,希望不会令你昏昏欲睡~~~ 本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说,0.11之前副本备份机制主要依赖水位(或水印)的概念,而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不阅读全文
posted @ 2017-09-21 15:40 huxihx 阅读(447) 评论(11) 编辑
摘要: Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中,Flink不依赖于Kafka内置的消费组位移管理,而是在内部自行记录和维护con阅读全文
posted @ 2017-09-08 14:49 huxihx 阅读(223) 评论(0) 编辑
摘要: 本文结合一个具体的实例给出如何在公有云环境上配置Kafka broker与client之间的SSL设置。 测试环境 阿里云机一台(Server端):主机名是kafka1,负责运行单节点的Kafka集群。本文选择0.11.0.0版本 Mac笔记本一台(Client端):通过公网连接阿里云机器上的Kaf阅读全文
posted @ 2017-08-25 15:44 huxihx 阅读(436) 评论(0) 编辑
摘要: Kafka Security: SASL + PLAINTEXT + ACL实例阅读全文
posted @ 2017-08-17 16:47 huxihx 阅读(360) 评论(0) 编辑
摘要: 本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是, 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本之前,如果要为已有的consumer group调整位移必须阅读全文
posted @ 2017-08-04 14:56 huxihx 阅读(328) 评论(0) 编辑
摘要: Apache Flink是新一代的分布式流式数据处理框架,它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中,Flink利用Apache Kafka作为上下游的输入输出十分常见,本文将给出一个可运行的实际例子来集成两者。 1. 目阅读全文
posted @ 2017-07-23 19:52 huxihx 阅读(684) 评论(2) 编辑