随笔分类 -  大数据相关技术配置

摘要：1.实现逻辑： 统计生产者生产的消息，处理逻辑：统计每个单词出现的次数，并将结果输出到目标主题中 2.Producer端： 生产指定格式的数据： 生产数据: kafka-console-producer.sh --topic t1 --broker-list zjuserMaster:9092 di 阅读全文

摘要：Kafka官方提供了命令行工具kafka-consumer-groups.sh，对消费者的消费进度进行监控，在实际生产环境中，对于消费进度的监控只管重要，这直接影响消费者下游系统的消费能力和整个集群的性能。 使用方法如下： 在生产者端生产消息： [root@zjuserMaster ~]# kafk 阅读全文

摘要：zookeeper主要负责协调管理并保存 Kafka 集群的所有元数据信息，比如集群都有哪些 Broker 在运行、创建了哪些 Topic，每个 Topic 都有多少分区以及这些分区的 Leader 副本都在哪些机器上等信息。 如下： [cluster, controller_epoch, cont 阅读全文