jsqup

2022年8月6日

案例六：启动一个采集数据进程，采集端口和文件内容数据，其中端口数据输出到flume日志中，同时需要输出到HDFS上，文件内容只需要输出到HDFS上

摘要：说明 source: 2 channel: 2 sink: 2 配置文件 # 给flume采集进程agent起了一个别名 a1 # 定义flume进程中有几个source 以及每一个source的别名 a1.sources = r1 r2 a1.sinks = k1 k2 a1.channels = 阅读全文

posted @ 2022-08-06 09:28 jsqup 阅读(32) 评论(0) 推荐(0)

案例五：启动一个采集数据进程，将监听到的端口数据输出到HDFS分布式文件系统上

摘要：说明 source: netcat sink: hdfs 脚本编写 # 给flume采集进程agent起了一个别名 a1 # 定义flume进程中有几个source 以及每一个source的别名 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 定义f 阅读全文

posted @ 2022-08-06 08:25 jsqup 阅读(41) 评论(0) 推荐(0)

2022年8月5日

关于flume的对应关系及常用的source

摘要：对应关系在一个Flume进程中，source、channel、sink的关系是：1个source可以绑定多个channel，一个channel只能绑定1个sink。 source和channel是一对多的关系，sink和channel是一对一的关系。 source spooldir和exec的ta 阅读全文

posted @ 2022-08-05 17:36 jsqup 阅读(181) 评论(0) 推荐(0)

案例四：启动一个采集数据脚本，监听一个文件内容变化，将监听到的文件内容变化输出到flume日志中

摘要：说明数据源：exec，这里命令是tail -F 目的地/下沉地：flume日志编写脚本 # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，以及每一个source的别名 a1.sources = r1 a1.sinks = k1 a1. 阅读全文

posted @ 2022-08-05 17:33 jsqup 阅读(55) 评论(0) 推荐(0)

案例三：启动一个采集脚本，可以实现同时监听端口数据和目录数据，并且监听的端口数据和目录数据都输出到logger控制台

摘要：编写脚本 [root@node1 data]# cat dirandportToLogger.conf # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，以及每一个source的别名 a1.sources = r1 r2 a1.sinks 阅读全文

posted @ 2022-08-05 17:14 jsqup 阅读(32) 评论(0) 推荐(0)

案例二：监控一个目录下的文件变动，如果目录下有新文件产生，将新文件信息输出到flume日志中

摘要：案例说明 source：spooling directory Source 监控指定目录内数据变更编写脚本 # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，>以及每一个source的别名 a1.sources = r1 a1.sink 阅读全文

posted @ 2022-08-05 16:46 jsqup 阅读(138) 评论(0) 推荐(0)

flume案例一：监听端口数据到flume日志中

摘要：案例说明数据源：netcat source 目的地：logger Sink source：netcat，host，post channel：基于内存的缓冲池 memory sink：logger 配置文件 [root@node1 data]# vim portToLogger.conf [root 阅读全文

posted @ 2022-08-05 15:53 jsqup 阅读(131) 评论(0) 推荐(0)

flume采集数据及环境配置

摘要： Flume采集数据的工作图 Flume采集数据的工作流程 Flume配置过程 [root@node1 ~]# pwd /opt/software/ [root@node1 software]# tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/app/ 阅读全文

posted @ 2022-08-05 12:12 jsqup 阅读(78) 评论(0) 推荐(0)

大数据开发流程

摘要： ![](https://img2022.cnblogs.com/blog/2487693/202208/2487693-20220805100048052-573136045.png) 阅读全文

posted @ 2022-08-05 10:02 jsqup 阅读(26) 评论(0) 推荐(0)

2022年8月4日

sqoop将数据的导入和导出

摘要： 1. 在mysql中创建表 2. 导入hdfs中 # 将表student导入hdfs中 sqoop import --connect jdbc:mysql://node1:3306/shixun?serverTimezone=UTC --username root --password Jsq123 阅读全文

posted @ 2022-08-04 22:40 jsqup 阅读(182) 评论(0) 推荐(0)

公告