随笔分类 -  flume

摘要:安装flume 上传,解压 修改flume-env.sh的JAVA_HOME 修改FLUME_HOME环境变量 阅读全文
posted @ 2018-11-18 15:00 uuhh 阅读(107) 评论(0) 推荐(0)
摘要:http://flume.apache.org/ 安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意:JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 ex 阅读全文
posted @ 2018-11-18 14:27 uuhh 阅读(304) 评论(0) 推荐(0)
摘要:a1.sources = r1a1.sinks = k1a1.channels = c1 a1.sources.r1.type = execa1.sources.r1.command = tail -f /sinkslog/1.txt a1.sinks.k1.type=hdfsa1.sinks.k1 阅读全文
posted @ 2018-08-09 17:04 uuhh 阅读(400) 评论(0) 推荐(0)
摘要:Warning The problem with ExecSource and other asynchronous sources is that the source can not guarantee that if there is a failure to put the event in 阅读全文
posted @ 2018-08-09 16:26 uuhh 阅读(511) 评论(0) 推荐(0)
摘要:/*Basic representation of a data object in Flume. Provides access to data as it flows through the system. Flume中数据对象的基本表示。 提供对数据流经系统的访问 */public inter 阅读全文
posted @ 2018-08-09 13:32 uuhh 阅读(644) 评论(0) 推荐(0)
摘要:flume 的source 、channel和sink 多种组合 2017年01月11日 22:51:15 阅读数:2744 乐高积木flume flume 有三大组件source 、channel和sink,各个组件之间都可以相互组合使用,各组件间耦合度低。使用灵活,方便。 1.多sink channel 的内容只输出一次,同一个event 如果sink1 输出,sink2 不输出;如果si... 阅读全文
posted @ 2018-07-10 08:52 uuhh 阅读(3819) 评论(0) 推荐(0)