摘要：
说明 source: netcat sink: hdfs 脚本编写 # 给flume采集进程agent起了一个别名 a1 # 定义flume进程中有几个source 以及每一个source的别名 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 定义f 阅读全文
posted @ 2022-08-06 08:25
jsqup
阅读(58)
评论(0)
推荐(0)
摘要：
对应关系 在一个Flume进程中，source、channel、sink的关系是：1个source可以绑定多个channel，一个channel只能绑定1个sink。 source和channel是一对多的关系，sink和channel是一对一的关系。 source spooldir和exec的ta 阅读全文
posted @ 2022-08-05 17:36
jsqup
阅读(206)
评论(0)
推荐(0)
摘要：
说明 数据源：exec，这里命令是tail -F 目的地/下沉地：flume日志 编写脚本 # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，以及每一个source的别名 a1.sources = r1 a1.sinks = k1 a1. 阅读全文
posted @ 2022-08-05 17:33
jsqup
阅读(84)
评论(0)
推荐(0)
摘要：
编写脚本 [root@node1 data]# cat dirandportToLogger.conf # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，以及每一个source的别名 a1.sources = r1 r2 a1.sinks 阅读全文
posted @ 2022-08-05 17:14
jsqup
阅读(51)
评论(0)
推荐(0)
摘要：
案例说明 source：spooling directory Source 监控指定目录内数据变更 编写脚本 # 给flume采集进程起一个别名 a1 # 定义flume进程中有几个source、sink、channel，>以及每一个source的别名 a1.sources = r1 a1.sink 阅读全文
posted @ 2022-08-05 16:46
jsqup
阅读(160)
评论(0)
推荐(0)
摘要：
案例说明 数据源：netcat source 目的地：logger Sink source：netcat，host，post channel：基于内存的缓冲池 memory sink：logger 配置文件 [root@node1 data]# vim portToLogger.conf [root 阅读全文
posted @ 2022-08-05 15:53
jsqup
阅读(144)
评论(0)
推荐(0)
摘要：
Flume采集数据的工作图 Flume采集数据的工作流程 Flume配置过程 [root@node1 ~]# pwd /opt/software/ [root@node1 software]# tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/app/ 阅读全文
posted @ 2022-08-05 12:12
jsqup
阅读(97)
评论(0)
推荐(0)
摘要：
 阅读全文
posted @ 2022-08-05 10:02
jsqup
阅读(32)
评论(0)
推荐(0)
摘要：
1. 在mysql中创建表 2. 导入hdfs中 # 将表student导入hdfs中 sqoop import --connect jdbc:mysql://node1:3306/shixun?serverTimezone=UTC --username root --password Jsq123 阅读全文
posted @ 2022-08-04 22:40
jsqup
阅读(191)
评论(0)
推荐(0)
摘要：
配置环境 1. 将jar包上传至/opt/software目录下 2. 解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/app/ 3. 改名字 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4. 阅读全文
posted @ 2022-08-04 16:54
jsqup
阅读(43)
评论(0)
推荐(0)
浙公网安备 33010602011771号