摘要： 一、Sink组逻辑处理器 ### Sink组逻辑处理器 ~~~ 可以把多个sink分成一个组， ~~~ Sink组逻辑处理器可以对这同一个组里的几个sink进行负载均衡 或者 ~~~ 其中一个sink发生故障后将输出Event的任务转移到其他的sink上。 ### N个sink将Event输出到对应 阅读全文

摘要： 一、选择器 ### 选择器 ~~~ source可以向多个channel同时写数据，所以也就产生了以何种方式向多个channel写的问题： ~~~ replication(复制，缺省)。数据完整地发送到每一个channel； ~~~ multiplexing（多路复用）。通过配置来按照一定的规则进行 阅读全文

摘要： 一、高级特性 ### [数据采集工具-Flume] ~~~ [Flume高级特性之拦截器] ~~~ [Flume高级特性之选择器，Sink组逻辑处理器] ~~~ [Flume高级特性之事务机制及可靠性] ~~~ [Flume高可用] ### 拦截器 ~~~ Flume支持在运行时对event进行修改 阅读全文

摘要： 一、Host添加拦截器 ### Host添加拦截器 ~~~ 这个拦截器会把当前Agent的 hostname 或者 IP 地址写入到Event的header中， ~~~ key默认是“host”（也可以通过配置自定义key），value可以选择使用hostname或者IP地址。 二、host添加拦截 阅读全文

摘要： 一、监控日志文件采集数据到HDFS、本地文件系统 ### 监控日志文件采集数据到HDFS、本地文件系统 ~~~ # 业务需求： ~~~ 监控日志文件，收集信息上传到HDFS 和 本地文件系统 ### 需求分析： ~~~ 需要多个Agent级联实现 ~~~ source 选择 taildir ~~~ 阅读全文

摘要： 一、入门案例 ### 中文flume帮助文档：https://flume.liyifeng.org/ ~~~ # 业务需求： ~~~ 监听本机 8888 端口，Flume将监听的数据实时显示在控制台 ### 需求分析： ~~~ 使用 telnet 工具可以向 8888 端口发送数据 ~~~ 监听端口 阅读全文

摘要： 一、监控日志文件信息到HDFS ### 监控日志文件信息到HDFS ~~~ # 业务需求： ~~~ 监控本地日志文件，收集内容实时上传到HDFS ### 需求分析： ~~~ 使用 tail -F 命令即可找到本地日志文件产生的信息 ~~~ source 选择 exec。exec 监听一个指定的命令， 阅读全文

摘要： 一、监控目录采集信息到HDFS ### 监控目录采集信息到HDFS ~~~ # 业务需求： ~~~ 监控指定目录，收集信息实时上传到HDFS ### 需求分析： ~~~ source 选择 spooldir。 ~~~ spooldir 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控 阅读全文

摘要： 一、基础应用 ### 基础应用 ~~~ Flume 支持的数据源种类有很多，可以来自directory、http、kafka等。 ~~~ Flume提供了Source组件用来采集数据源。 二、常见的 Source 有： ### avro source： ~~~ 监听 Avro 端口来接收外部 avr 阅读全文

摘要： 一、安装部署 ### [数据采集工具-Flume] ~~~ [Flume.v1.9.0安装部署] ~~~ [Flume应用之Source/Channel及Sink] ~~~ [Flume应用案例01] ~~~ [Flume应用案例02] ~~~ [Flume应用案例03] ~~~ [Flume应用案 阅读全文

摘要： 一、Flume体系结构 ### Flume架构中的组件： ~~~ # Agent本质上是一个 JVM 进程， ~~~ 该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）。 ~~~ 一个完整的Agent中包含了三个组件Source、Channel和Sink，So 阅读全文

摘要： 一、Flume概述 ### [数据采集工具-Flume] ~~~ [Flume简介] ~~~ [Flume拓扑结构] ~~~ [Flume体系架构] ~~~ [Flume内部原理] ### 概述(什么是、体系结构、拓扑结构、内部原理) ### 安装配置 ### 应用(基础、高级) ~~~ 无论数据来 阅读全文

摘要： 一、实现：步骤一：创建表 ### 步骤一：创建表 ~~~ 将数据存放在ORC文件中 ~~~ # createtable.hql hive (tuning)> drop database sale cascade; hive (tuning)> create database if not exist 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、需求描述：针对销售数据，完成统计： ### [数据仓库工具-Hive] ~~~ [Hue案例之导入数据] ~~~ [Hive案例实现part01] ~~~ [Hive案例实现part02] ~~~ [Hive案例实现part03] ~~~ [Hive案例实现part04] ~~~ [Hive案例 阅读全文

摘要： 一、启动 Hue 服务 ### 增加 hue 用户和用户组 [root@linux122 hue]# groupadd hue [root@linux122 hue]# useradd -g hue hue ### 在hue安装路径下执行 [root@linux122 hue]# build/env 阅读全文

摘要： 一、Hue概述 ### [数据交互工具-HUE] ~~~ [交互工具Hue_编译安装] ~~~ [交互工具Hue配置] ~~~ [交互工具Hue之整合Hadoop及Hive] ### Hue概述 ~~~ Hue(Hadoop User Experience)是一个开源的 Apache Hadoop 阅读全文

摘要： 一、Hue编译安装 ### Hue编译安装 ~~~ Hue官方网站：https://gethue.com/ ~~~ HUE官方用户手册：https://docs.gethue.com/ ~~~ 官方安装文档：https://docs.gethue.com/administrator/installa 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、需求描述：针对销售数据，完成统计： ### 需求描述：针对销售数据，完成统计： ~~~ 按年统计销售额 ~~~ 销售金额在 10W 以上的订单 ~~~ 每年销售额的差值 ~~~ 年度订单金额前10位（年度、订单号、订单金额、排名） ~~~ 季度订单金额前10位（年度、季度、订单id、订单金额、排 阅读全文