随笔档案「2022年5月15日」：Flume聚合 ... - hz15968199950

2022年5月15日

摘要：案例需求： hadoop102 上的 Flume-1 监控文件/opt/module/group.log， hadoop103 上的 Flume-2 监控某一个端口的数据流， Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到阅读全文

posted @ 2022-05-15 19:41 hz15968199950 阅读(49) 评论(0) 推荐(0)

Flume故障转移

摘要：在/opt/module/flume/job 目录下创建 group2 文件夹 mkdir group2 配置 1 个 netcat source 和 1 个 channel、1 个 sink group（2 个 sink），分别输送给flume-flume-console1 和 flume-flu 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(91) 评论(0) 推荐(0)

Flume 入门案例

摘要：案例需求：使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。安装 netcat 工具 sudo yum install -y nc 判断 44444 端口是否被占用 sudo netstat -nlp | grep 44444 在 flume 目录下创建 job 文件夹并进入 job 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(87) 评论(0) 推荐(0)

Flume环境搭建

摘要：将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/software 目录下没有该目录的可自己手动添加，在命令行输入 mkdir /opt/software 切换目录 cd /opt/software/ 解压 apache-flume-1.9.0-bin 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(137) 评论(0) 推荐(0)

Kafka自定义分区器

摘要： 1.定义类实现 Partitioner 接口，重写 partition()方法 package com.kafka.producer; import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.comm 阅读全文

posted @ 2022-05-15 18:25 hz15968199950 阅读(255) 评论(0) 推荐(0)

Kfka异步发送 API

摘要： 1.创建Maven工程 kafka 2.在pom.xml文件导入依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>3.0 阅读全文

posted @ 2022-05-15 18:24 hz15968199950 阅读(108) 评论(0) 推荐(0)

Kafka 生产者、消费者命令行操作

摘要： 1.查看操作生产者命令参数 bin/kafka-console-producer.sh 参数 --bootstrap-server <String: server toconnect to> ，连接的 Kafka Broker 主机名称和端口号。 --topic <String: topic>，操作阅读全文

posted @ 2022-05-15 18:23 hz15968199950 阅读(1055) 评论(0) 推荐(0)

Kafka 主题命令行操作

摘要： 1.主题命令行操作，查看操作主题命令参数 bin/kafka-topics.sh 参数描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。 --topic <String: topic> 操作的阅读全文

posted @ 2022-05-15 14:08 hz15968199950 阅读(251) 评论(0) 推荐(0)

Kafka环境搭建

摘要： 1.将软件包kafka_2.12-3.0.0.tgz上传到/opt/software/目录下，解压到/opt/module/目录下 tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/ 2.修改解压后的文件名称 mv kafka_2.12-3.0.0/ kaf 阅读全文

posted @ 2022-05-15 12:54 hz15968199950 阅读(328) 评论(0) 推荐(0)

Zookeeper环境搭建

摘要： 1.拷贝 apache-zookeeper-3.5.7-bin.tar.gz到/opt/software目录下 2.解压到指定目录 tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/ 3.修改名称 cd /opt/module mv 阅读全文

posted @ 2022-05-15 11:48 hz15968199950 阅读(86) 评论(0) 推荐(0)