Flume - 文章分类 - MissRong

Flume部署

摘要：Flume部署 1.安装包如果想通过拖拽来安装，需要安装rz、sz的命令包可先查找命令所在的包文件：yum search sz 安装包：yum -y install lrzsz 到apache官网下载flume包:搜apache.org 下载apache-flume-1.8.0-bin.tar. 阅读全文

posted @ 2020-05-22 21:26 MissRong 阅读(105) 评论(0) 推荐(0) |

Flume案例七【自定义拦截器】

摘要：案例七：Flume自定义拦截器在此案例中，实现：将小写字母转换成大写字母一、配置Pom.xml文件 <dependencies>  <dependency> <groupId>org.apache.flume</groupId> <artifactId>flu 阅读全文

posted @ 2020-03-30 14:19 MissRong 阅读(1129) 评论(0) 推荐(0) |

Flume案例六-6【正则抽取拦截器】

摘要：六、正则抽取拦截器功能：抽取匹配的数据放进header中--headers{hostname=bigdata111,ip=192.168.212.111} 1.配置flume-正则抽取拦截器配置文件 flume-extractor.conf #1 agent a1.sources = r1 a1. 阅读全文

posted @ 2020-03-30 13:45 MissRong 阅读(368) 评论(0) 推荐(0) |

Flume案例六-5【正则过滤拦截器】

摘要：五、正则过滤拦截器功能：过滤数据 1.配置flume-正则过滤拦截器的配置文件 flume-filter.conf #1 agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #2 source a1.sources.r1.type = exec 阅读全文

posted @ 2020-03-30 11:48 MissRong 阅读(1009) 评论(0) 推荐(1) |

Flume案例六-4【查询替换拦截器】

摘要：四、查询替换拦截器功能：查询数据，替换其他数据。数据清洗过程中比较常用。 1.配置flume-查询替换拦截器配置文件： flume-search_replace.conf #1 agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #2 sour 阅读全文

posted @ 2020-03-30 11:18 MissRong 阅读(330) 评论(0) 推荐(0) |

Flume案例六-3【UUID拦截器】

摘要：三、UUID拦截器功能：将UUID型的id写入headers 1.配置flume-UUID拦截器的配置文件： flume-uuid.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.so 阅读全文

posted @ 2020-03-30 11:06 MissRong 阅读(209) 评论(0) 推荐(0) |

Flume案例六-2【主机名拦截器】

摘要：二、主机名拦截器 1.配置flume-主机名拦截器配置文件： flume-host.conf #1.定义agent a1.sources= r1 a1.sinks = k1 a1.channels = c1 #2.定义source a1.sources.r1.type = exec a1.sourc 阅读全文

posted @ 2020-03-30 10:58 MissRong 阅读(156) 评论(0) 推荐(0) |

Flume案例六-1【时间戳拦截器】

该文被密码保护。

posted @ 2020-03-30 10:33 MissRong 阅读(0) 评论(0) 推荐(0) |

Flume案例五【扇出】

摘要：案例五：扇出(fan out)-Flume与Flume之间数据传递：单Flume多Channel、Sink 防止数据丢失可以将数据存入磁盘而不是内存。一个source可以发送给多个channel 一个sink只能连接一个channel 目标：使用flume1监控文件变动，flume1将变动内容传递阅读全文

posted @ 2020-03-28 16:19 MissRong 阅读(232) 评论(0) 推荐(0) |

Flume案例四【扇入】

摘要：案例四：扇入(fan in)-Flume与Flume之间数据传递，多Flume汇总数据到单Flume 目标：flume-1监控文件hive.log，flume-2监控某一个端口的数据流，flume-1与flume-2将数据发送给flume-3，flume-3将最终数据写入到HDFS。分步实现： 1 阅读全文

posted @ 2020-03-27 15:06 MissRong 阅读(227) 评论(0) 推荐(0) |

Flume案例三【实时读取目录文件到HDFS】

摘要：案例三：实时读取目录文件到HDFS 目标：使用flume监听整个目录的文件分步实现： 1.创建配置文件flume-dir.conf #1 Agent a3.sources = r3 a3.sinks = k3 a3.channels = c3 #2 source #监控目录的类型 a3.sourc 阅读全文

posted @ 2020-03-27 12:55 MissRong 阅读(774) 评论(0) 推荐(0) |

Flume案例二【实时读取本地文件到HDFS】

摘要：案例二：实时读取本地文件到HDFS 同时启动的agent不能相同：a1、a2、... 1.创建flume-hdfs.conf文件 # 1 agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # 2 source a2.sources.r2.typ 阅读全文

posted @ 2020-03-27 10:44 MissRong 阅读(815) 评论(0) 推荐(0) |

Flume案例一【监控端口数据】

摘要：案例一【监控端口数据】目标：Flume监控一端Console（控制台），另一端Console发送消息，使被监控端实时显示。分步实现： 1.创建Flume Agent配置文件flume-telnet.conf 1）创建自己的配置文件 [root@bigdata111 flume-1.8.0]# m 阅读全文

posted @ 2020-03-26 23:13 MissRong 阅读(952) 评论(0) 推荐(0) |

Flume初识（含安装部署）

摘要：大数据技术之Flume 一、Flume简介 1.Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集（实时）、聚集、移动的服务，Flume只能在Unix环境（搭建在Linux当中的）下运行。 2.Flume基于流式架构，容错性强，也很灵活简单。 3.Flume、Kafka用来实时进行数据阅读全文

posted @ 2020-03-26 17:09 MissRong 阅读(144) 评论(0) 推荐(0) |

MissRong

现时的明艳，源于曾经奋斗的泪泉和牺牲的血雨。

公告

文章分类 - Flume