该文被密码保护。 阅读全文
posted @ 2020-07-28 23:55
秋华
阅读(234)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2020-07-28 23:42
秋华
阅读(185)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2020-07-27 23:09
秋华
阅读(424)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2020-07-27 22:48
秋华
阅读(231)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2020-07-27 22:30
秋华
阅读(250)
评论(0)
推荐(0)
摘要：
介绍 Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统 阅读全文
posted @ 2020-07-26 22:57
秋华
阅读(542)
评论(0)
推荐(0)
摘要：
自定义 Source 说明 Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、 syslog 阅读全文
posted @ 2020-07-26 22:52
秋华
阅读(396)
评论(0)
推荐(0)
摘要：
1）案例需求 使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 2）需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Mu 阅读全文
posted @ 2020-07-26 22:37
秋华
阅读(239)
评论(0)
推荐(0)
摘要：
[atguigu@hadoop102 job]$ cd group2/ 负载均衡和故障转移 1）案例需求 使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。 2）需求分析 3 阅读全文
posted @ 2020-07-26 22:32
秋华
阅读(349)
评论(0)
推荐(0)
摘要：
多数据源汇总案例 多 Source 汇总数据到单 Flume 如图 7-4 所示。 图 7-4 多 Flume 汇总数据到单 Flume 1） 案例需求： hadoop103 上的 Flume-1 监控文件/opt/module/group.log， hadoop102 上的 Flume-2 监控某 阅读全文
posted @ 2020-07-26 21:48
秋华
阅读(201)
评论(0)
推荐(0)
浙公网安备 33010602011771号