随笔分类 -  数据采集——Flume

摘要:一、agent 第一步是定义agent(代理)及agent下的sources、channels、sinks的简称,如下: a1.sources = r1 a1.sinks = k1 a1.channels = c1 二、sources 第二步是定义sources(接收数据源),以下是常见的sourc 阅读全文
posted @ 2019-02-24 11:59 给你一个公主抱 阅读(3333) 评论(0) 推荐(0)
摘要:一、Flume监听端口 1,在linux机器上下载telnet工具 yum search telnet yumm install telnet.x86_64 2.编写flume的配置文件,并将文件复制到flume/conf文件夹下 3.启动配置文件 bin/flume-ng agent --conf 阅读全文
posted @ 2019-02-24 01:18 给你一个公主抱 阅读(646) 评论(0) 推荐(1)
摘要:一、Flume概述 Flume是一种分布式、可靠且可用的服务,用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架,具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错能力。Flume使用简单的的可扩展数据模型,循环在线分析应用程序。 二、Flume的作用 阅读全文
posted @ 2019-02-23 20:26 给你一个公主抱 阅读(520) 评论(0) 推荐(0)