随笔分类 - flume
摘要:安装flume 上传,解压 修改flume-env.sh的JAVA_HOME 修改FLUME_HOME环境变量
阅读全文
摘要:http://flume.apache.org/ 安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意:JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 ex
阅读全文
摘要:a1.sources = r1a1.sinks = k1a1.channels = c1 a1.sources.r1.type = execa1.sources.r1.command = tail -f /sinkslog/1.txt a1.sinks.k1.type=hdfsa1.sinks.k1
阅读全文
摘要:Warning The problem with ExecSource and other asynchronous sources is that the source can not guarantee that if there is a failure to put the event in
阅读全文
摘要:/*Basic representation of a data object in Flume. Provides access to data as it flows through the system. Flume中数据对象的基本表示。 提供对数据流经系统的访问 */public inter
阅读全文
摘要:flume 的source 、channel和sink 多种组合 2017年01月11日 22:51:15 阅读数:2744 乐高积木flume flume 有三大组件source 、channel和sink,各个组件之间都可以相互组合使用,各组件间耦合度低。使用灵活,方便。 1.多sink channel 的内容只输出一次,同一个event 如果sink1 输出,sink2 不输出;如果si...
阅读全文

浙公网安备 33010602011771号