2022年8月5日
关于flume的对应关系及常用的source
摘要： 对应关系 在一个Flume进程中，source、channel、sink的关系是：1个source可以绑定多个channel，一个channel只能绑定1个sink。 source和channel是一对多的关系，sink和channel是一对一的关系。 source spooldir和exec的ta 阅读全文
posted @ 2022-08-05 17:36 jsqup 阅读(181) 评论(0) 推荐(0)
案例四：启动一个采集数据脚本，监听一个文件内容变化，将监听到的文件内容变化输出到flume日志中
摘要： 说明 数据源：exec，这里命令是tail -F 目的地/下沉地：flume日志 编写脚本 # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，以及每一个source的别名 a1.sources = r1 a1.sinks = k1 a1. 阅读全文
posted @ 2022-08-05 17:33 jsqup 阅读(55) 评论(0) 推荐(0)
案例三：启动一个采集脚本，可以实现同时监听端口数据和目录数据，并且监听的端口数据和目录数据都输出到logger控制台
摘要： 编写脚本 [root@node1 data]# cat dirandportToLogger.conf # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，以及每一个source的别名 a1.sources = r1 r2 a1.sinks 阅读全文
posted @ 2022-08-05 17:14 jsqup 阅读(32) 评论(0) 推荐(0)
案例二：监控一个目录下的文件变动，如果目录下有新文件产生，将新文件信息输出到flume日志中
摘要： 案例说明 source：spooling directory Source 监控指定目录内数据变更 编写脚本 # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，>以及每一个source的别名 a1.sources = r1 a1.sink 阅读全文
posted @ 2022-08-05 16:46 jsqup 阅读(138) 评论(0) 推荐(0)
flume案例一：监听端口数据到flume日志中
摘要： 案例说明 数据源：netcat source 目的地：logger Sink source：netcat，host，post channel：基于内存的缓冲池 memory sink：logger 配置文件 [root@node1 data]# vim portToLogger.conf [root 阅读全文
posted @ 2022-08-05 15:53 jsqup 阅读(131) 评论(0) 推荐(0)
flume采集数据及环境配置
摘要： Flume采集数据的工作图 Flume采集数据的工作流程 Flume配置过程 [root@node1 ~]# pwd /opt/software/ [root@node1 software]# tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/app/ 阅读全文
posted @ 2022-08-05 12:12 jsqup 阅读(80) 评论(0) 推荐(0)
大数据开发流程
摘要： ![](https://img2022.cnblogs.com/blog/2487693/202208/2487693-20220805100048052-573136045.png) 阅读全文
posted @ 2022-08-05 10:02 jsqup 阅读(26) 评论(0) 推荐(0)