大数据技术之 Flume - 随笔分类 - hz15968199950

Flume聚合

摘要：案例需求： hadoop102 上的 Flume-1 监控文件/opt/module/group.log， hadoop103 上的 Flume-2 监控某一个端口的数据流， Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到阅读全文

posted @ 2022-05-15 19:41 hz15968199950 阅读(54) 评论(0) 推荐(0)

Flume 入门案例

摘要：案例需求：使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。安装 netcat 工具 sudo yum install -y nc 判断 44444 端口是否被占用 sudo netstat -nlp | grep 44444 在 flume 目录下创建 job 文件夹并进入 job 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(92) 评论(0) 推荐(0)

Flume故障转移

摘要：在/opt/module/flume/job 目录下创建 group2 文件夹 mkdir group2 配置 1 个 netcat source 和 1 个 channel、1 个 sink group（2 个 sink），分别输送给flume-flume-console1 和 flume-flu 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(101) 评论(0) 推荐(0)

Flume环境搭建

摘要：将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/software 目录下没有该目录的可自己手动添加，在命令行输入 mkdir /opt/software 切换目录 cd /opt/software/ 解压 apache-flume-1.9.0-bin 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(146) 评论(0) 推荐(0)

随笔分类 - 大数据技术之 Flume