随笔分类 -  flume

• 采集案例
  摘要：采集目录到HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 根据需求，首先定义以下3大要素 配置文件编写： Channel参数解释： capacity：默认该通道中最大的可以存储的event数量 trasactionCapacity：每 阅读全文
  posted @ 2017-09-28 20:09 duan2 阅读(493) 评论(0) 推荐(0)
• 日志采集框架Flume
  摘要：概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊 阅读全文
  posted @ 2017-09-26 22:19 duan2 阅读(521) 评论(0) 推荐(0)