秋华 - 博客园

2020年7月26日

摘要：单数据源多出口案例(Sink 组) 单 Source、Channel 多 Sink(负载均衡)如图 7-3 所示。图 7-3 单 Source、Channel 多 Sink 1）案例需求：使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2负责存储到阅读全文

posted @ 2020-07-26 21:19 秋华阅读(170) 评论(0) 推荐(0)

Flume基础（七）：企业开发案例（四）

摘要：单数据源多出口案例(选择器) 单 Source 多 Channel、Sink 如图 7-2 所示。图 7-2 单 Source 多 Channel、Sink 1）案例需求：使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2负责存储到 HDFS。同时阅读全文

posted @ 2020-07-26 21:09 秋华阅读(174) 评论(0) 推荐(0)

2020年7月25日

Flume基础（六）：企业开发案例（三）

摘要：实时读取目录文件到 HDFS 案例 1）案例需求：使用 Flume 监听整个目录的文件 2）需求分析： 3）实现步骤： 1．创建配置文件 flume-dir-hdfs.conf 创建一个文件 [atguigu@hadoop102 job]$ touch flume-dir-hdfs.conf 打开文阅读全文

posted @ 2020-07-25 23:49 秋华阅读(233) 评论(0) 推荐(0)

Flume基础（五）：企业开发案例（二）

摘要：实时读取本地文件到 HDFS 案例 1）案例需求：实时监控 Hive 日志，并上传到 HDFS 中 2）需求分析： 3）实现步骤： 1．Flume 要想将数据输出到 HDFS，必须持有 Hadoop 相关 jar 包由于flume服务器没有安装hadoop,但是要依赖hadoop的相关类来将文件保阅读全文

posted @ 2020-07-25 23:19 秋华阅读(196) 评论(0) 推荐(0)

Flume基础（四）：企业开发案例（一）

摘要： 1 监控端口数据官方案例 1）案例需求：首先，Flume 监控本机 44444 端口，然后通过 telnet 工具向本机 44444 端口发送消息，最后 Flume 将监听的数据实时显示在控制台。 2）需求分析： 3）实现步骤： 1．安装 telnet 工具将 rpm 软件包 (xinetd 阅读全文

posted @ 2020-07-25 23:13 秋华阅读(235) 评论(0) 推荐(0)

Flume基础（三）：Flume 监控之 Ganglia

摘要： 1 Ganglia 的安装与部署 1) 安装 httpd 服务与 php [atguigu@hadoop102 flume]$ sudo yum -y install httpd php 2) 安装其他依赖 [atguigu@hadoop102 flume]$ sudo yum -y install 阅读全文

posted @ 2020-07-25 22:57 秋华阅读(352) 评论(0) 推荐(0)

Flume基础（二）：快速入门

摘要： 1 Flume 安装地址 1） Flume 官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 阅读全文

posted @ 2020-07-25 21:42 秋华阅读(237) 评论(0) 推荐(0)

Flume基础（一）：概述

摘要： 1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它阅读全文

posted @ 2020-07-25 21:40 秋华阅读(436) 评论(0) 推荐(0)

2020年7月24日

Hadoop基础：补充：Zookeeper的目录结构

posted @ 2020-07-24 17:18 秋华阅读(340) 评论(0) 推荐(0)

Hadoop基础：补充：hadoop的目录结构介绍

摘要： hadoop的目录结构介绍解压缩hadoop 利用tar –zxvf把hadoop的jar包放到指定的目录下。 tar -zxvf /home/software/aa.tar.gz -C /home/zjx/pf f:指定文件的名称 z:以gz结尾的文件就是用gzip压缩的结果。与gzip相对的就阅读全文

posted @ 2020-07-24 17:16 秋华阅读(411) 评论(0) 推荐(0)

秋华

公告