随笔分类 -  flume

摘要:使用场景: 把多台服务器(flume generator)上面的日志汇总到一台或者几台服务器上面(flume collector),然后对接到kafka或者HDFS上 Flume Collector服务端 vim flume-server.properties 启动: Flume Generator 阅读全文
posted @ 2018-09-23 18:13 wang_zai 阅读(5133) 评论(0) 推荐(0)
摘要:cd /usr/local/flume/conf vim flume-exec-total.conf 验证: 1. 首先启动HDFS和kafka 2. 创建topic 启动flume以及测试 3. 启动Flume 4. 启动kafka客户端 结果如图: Flume服务端: HDFS: Kafka客户 阅读全文
posted @ 2018-09-23 17:18 wang_zai 阅读(1526) 评论(0) 推荐(0)
摘要:源码包下载: 集群环境: 下载安装包: Flume配置: #Netcat cd /usr/local/flume/conf vim flume-netcat.conf 验证: 结果如图: #Exec cd /usr/local/flume/conf vim flume-exec.conf 验证: 结 阅读全文
posted @ 2018-09-23 14:08 wang_zai 阅读(258) 评论(0) 推荐(0)