摘要：
实时读取目录文件到 HDFS 案例 1）案例需求：使用 Flume 监听整个目录的文件 2）需求分析： 3）实现步骤： 1．创建配置文件 flume-dir-hdfs.conf 创建一个文件 [atguigu@hadoop102 job]$ touch flume-dir-hdfs.conf 打开文 阅读全文
posted @ 2020-07-25 23:49
秋华
阅读(233)
评论(0)
推荐(0)
摘要：
实时读取本地文件到 HDFS 案例 1）案例需求：实时监控 Hive 日志，并上传到 HDFS 中 2）需求分析： 3）实现步骤： 1．Flume 要想将数据输出到 HDFS，必须持有 Hadoop 相关 jar 包 由于flume服务器没有安装hadoop,但是要依赖hadoop的相关类来将文件保 阅读全文
posted @ 2020-07-25 23:19
秋华
阅读(196)
评论(0)
推荐(0)
摘要：
1 监控端口数据官方案例 1）案例需求：首先，Flume 监控本机 44444 端口，然后通过 telnet 工具向本机 44444 端口发 送消息，最后 Flume 将监听的数据实时显示在控制台。 2）需求分析： 3）实现步骤： 1．安装 telnet 工具 将 rpm 软 件 包 (xinetd 阅读全文
posted @ 2020-07-25 23:13
秋华
阅读(235)
评论(0)
推荐(0)
摘要：
1 Ganglia 的安装与部署 1) 安装 httpd 服务与 php [atguigu@hadoop102 flume]$ sudo yum -y install httpd php 2) 安装其他依赖 [atguigu@hadoop102 flume]$ sudo yum -y install 阅读全文
posted @ 2020-07-25 22:57
秋华
阅读(352)
评论(0)
推荐(0)
摘要：
1 Flume 安装地址 1） Flume 官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 阅读全文
posted @ 2020-07-25 21:42
秋华
阅读(237)
评论(0)
推荐(0)
摘要：
1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它 阅读全文
posted @ 2020-07-25 21:40
秋华
阅读(436)
评论(0)
推荐(0)
浙公网安备 33010602011771号