Flume - 随笔分类 - 架构艺术

Flume监控方式

摘要：Flume主要有以下几种监控方式： 1.JMX监控配置 {$FLUME_HOME}/conf/flume-env.sh cd $FLUME_HOME/confvi flume-env.sh export JAVA_OPTS="-Xms500m -Xmx10240m -Dcom.sun.managem 阅读全文

posted @ 2023-04-28 18:32 架构艺术阅读(287) 评论(0) 推荐(0)

Flume拦截器-应用与配置

摘要：Flume最重要的组件是Source、Channel和Sink，另外，Flume Agent还有一些使Flume更加灵活的组件，如拦截器，Channel选择器，Sink组和Sink选择器。本文将讨论一下拦截器的应用。拦截器拦截器（Interceptor）是简单的插入式组件，设置在Source和S 阅读全文

posted @ 2020-09-09 10:34 架构艺术阅读(442) 评论(0) 推荐(0)

Flume正则表达式

摘要：常见正则表达式语法元字符描述 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。 $ 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。 * 匹配前面的子表达式阅读全文

posted @ 2020-09-08 19:57 架构艺术阅读(677) 评论(0) 推荐(0)

自定义MySQLSource

摘要：自定义MySQLSource 1 自定义Source说明 Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generat 阅读全文

posted @ 2020-09-08 19:54 架构艺术阅读(372) 评论(0) 推荐(0)

Flume案例：多数据源汇总案例

摘要：多数据源汇总案例 1）案例需求： hadoop103上的flume-1监控文件hive.log， hadoop104上的flume-2监控某一个端口的数据流， flume-1与flume-2将数据发送给hadoop102上的flume-3，flume-3将最终数据打印到控制台 2）需求分析： 3）阅读全文

posted @ 2020-09-08 19:29 架构艺术阅读(394) 评论(0) 推荐(0)

Flume案例：2个案例单数据源多出口

摘要：一、单数据源多出口案例1 1）案例需求：使用flume-1监控文件变动，flume-1将变动内容传递给flume-2，flume-2负责存储到HDFS。同时flume-1将变动内容传递给flume-3，flume-3负责输出到local filesystem。 2）需求分析： 3）实现步骤： 0 阅读全文

posted @ 2020-09-08 18:08 架构艺术阅读(435) 评论(0) 推荐(0)

Flume案例：目录文件到HDFS

摘要：实时读取目录文件到HDFS案例 1）案例需求：使用flume监听整个目录的文件 2）需求分析：创建一个文件 [jason@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 #定义source a3.sinks = k3 # 阅读全文

posted @ 2020-09-08 15:03 架构艺术阅读(256) 评论(0) 推荐(0)

Flume案例：本地文件到HDFS

摘要：1）案例需求：实时监控Hive日志，并上传到HDFS中 2）需求分析： 3）实现步骤： Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包将commons-configuration-1.6.jar、 hadoop-auth-2.7.2.jar、 hadoop-common-2. 阅读全文

posted @ 2020-09-08 14:22 架构艺术阅读(209) 评论(0) 推荐(0)

Flume-基础

摘要：1、Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume很多时候和storm以及spark streaming等流式处理框架结合使用。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据阅读全文

posted @ 2020-09-08 11:31 架构艺术阅读(175) 评论(0) 推荐(0)

flume案例：netcat-console

摘要：flume案例：netcat-console Flume 1.8 1、一个hello world案例。 # example.conf: 一个单节点的 Flume 实例配置 # 配置Agent a1各个组件的名称 a1.sources = r1 #Agent a1 的source r1 a1.sink 阅读全文

posted @ 2020-09-02 17:42 架构艺术阅读(302) 评论(0) 推荐(0)

随笔分类 - Flume