大数据技术之Kafka - 随笔分类 - hz15968199950

Kafka消费者 API（3）

摘要：1.需求：测试同一个主题的分区数据，只能由一个消费者组中的一个消费。 2.复制一份基础消费者的代码，在 IDEA 中同时启动，即可启动同一个消费者组中的两个消费者。由于GroupId都为test,所以3个消费者构成一组。在IDEA里运行 3.运行异步发送随笔中的CustomProducerCall 阅读全文

posted @ 2022-05-21 14:41 hz15968199950 阅读(49) 评论(0) 推荐(0)

Kafka消费者 API（2）

摘要：1.需求：创建一个独立消费者，消费 first 主题 0 号分区的数据。 2.在上篇随笔的package包新建CustomConsumerPartition类 package com.kafka.consumer; import org.apache.kafka.clients.consumer.C 阅读全文

posted @ 2022-05-21 14:31 hz15968199950 阅读(44) 评论(0) 推荐(0)

Kafka消费者 API（1）

摘要：1.需求：创建一个独立消费者，消费 first 主题中数据。 2.在IDEA创建包名：com.kafka.consumer 3.新建一个CustomConsumer类 package com.kafka.consumer; import org.apache.kafka.clients.consum 阅读全文

posted @ 2022-05-21 14:00 hz15968199950 阅读(93) 评论(0) 推荐(0)

Kafka自定义分区器

摘要：1.定义类实现 Partitioner 接口，重写 partition()方法 package com.kafka.producer; import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.comm 阅读全文

posted @ 2022-05-15 18:25 hz15968199950 阅读(259) 评论(0) 推荐(0)

Kfka异步发送 API

摘要：1.创建Maven工程 kafka 2.在pom.xml文件导入依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>3.0 阅读全文

posted @ 2022-05-15 18:24 hz15968199950 阅读(117) 评论(0) 推荐(0)

Kafka 生产者、消费者命令行操作

摘要：1.查看操作生产者命令参数 bin/kafka-console-producer.sh 参数 --bootstrap-server <String: server toconnect to> ，连接的 Kafka Broker 主机名称和端口号。 --topic <String: topic>，操作阅读全文

posted @ 2022-05-15 18:23 hz15968199950 阅读(1062) 评论(0) 推荐(0)

Kafka 主题命令行操作

摘要：1.主题命令行操作，查看操作主题命令参数 bin/kafka-topics.sh 参数描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。 --topic <String: topic> 操作的阅读全文

posted @ 2022-05-15 14:08 hz15968199950 阅读(260) 评论(0) 推荐(0)

Kafka环境搭建

摘要：1.将软件包kafka_2.12-3.0.0.tgz上传到/opt/software/目录下，解压到/opt/module/目录下 tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/ 2.修改解压后的文件名称 mv kafka_2.12-3.0.0/ kaf 阅读全文

posted @ 2022-05-15 12:54 hz15968199950 阅读(338) 评论(0) 推荐(0)

随笔分类 - 大数据技术之Kafka