2020年12月19日

使用kafka Streams统计单词出现的次数

摘要: 1.实现逻辑: 统计生产者生产的消息,处理逻辑:统计每个单词出现的次数,并将结果输出到目标主题中 2.Producer端: 生产指定格式的数据: 生产数据: kafka-console-producer.sh --topic t1 --broker-list zjuserMaster:9092 di 阅读全文

posted @ 2020-12-19 16:21 有梦不难zj 阅读(468) 评论(0) 推荐(0)

2020年12月8日

利用Kafka自带的命令行工具监控消费者的消费进度

摘要: Kafka官方提供了命令行工具kafka-consumer-groups.sh,对消费者的消费进度进行监控,在实际生产环境中,对于消费进度的监控只管重要,这直接影响消费者下游系统的消费能力和整个集群的性能。 使用方法如下: 在生产者端生产消息: [root@zjuserMaster ~]# kafk 阅读全文

posted @ 2020-12-08 13:58 有梦不难zj 阅读(1104) 评论(0) 推荐(0)

2020年12月2日

kafka和zookeeper的关系

摘要: zookeeper主要负责协调管理并保存 Kafka 集群的所有元数据信息,比如集群都有哪些 Broker 在运行、创建了哪些 Topic,每个 Topic 都有多少分区以及这些分区的 Leader 副本都在哪些机器上等信息。 如下: [cluster, controller_epoch, cont 阅读全文

posted @ 2020-12-02 21:00 有梦不难zj 阅读(1710) 评论(0) 推荐(0)

导航