随笔分类 -  06大数据-flume

利用Eclipse对Flume进行远程调试分析环境搭建
摘要：准备工作： 1、到Flume官网下载apache-flume-1.8.0-bin.tar.gz 2、下载代码：https://github.com/javabigdataxin/FlumeExtend 在Flume的conf目录新建一个RollingFileSink.conf文件 a1.source 阅读全文
posted @ 2019-07-21 00:25 四叶草Grass 阅读(471) 评论(0) 推荐(0)
Flume调优
摘要：这是一个关于池子的故事。有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口。水术语称为Event，进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，术语称为Agent 阅读全文
posted @ 2018-02-06 09:49 四叶草Grass 阅读(1479) 评论(0) 推荐(0)
MySQL数据实时增量同步到Kafka - Flume
摘要：转载自：https://www.cnblogs.com/yucy/p/7845105.html MySQL数据实时增量同步到Kafka - Flume 写在前面的话 需求，将MySQL里的数据实时增量同步到Kafka。接到活儿的时候，第一个想法就是通过读取MySQL的binlog日志，将数据写到Ka 阅读全文
posted @ 2018-01-30 10:30 四叶草Grass 阅读(1753) 评论(0) 推荐(0)
flume-ng-sql-source实现oracle增量数据读取
摘要：一、下载编译flume-ng-sql-source 下载地址：https://github.com/keedio/flume-ng-sql-source.git ，安装说明文档编译和拷贝jar包 嫌麻烦的也可以直接，CSDN下载地址：http://download.csdn.net/detail/c 阅读全文
posted @ 2017-09-11 20:49 四叶草Grass 阅读(2294) 评论(0) 推荐(0)
RedHat6.5安装单机flume1.6
摘要：版本号： RedHat6.5 JDK1.8 apache-flume-1.6.0 1.apache-flume-1.6.0-bin.tar.gz 下载 官网下载地址：http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.t 阅读全文
posted @ 2017-07-26 09:25 四叶草Grass 阅读(186) 评论(0) 推荐(0)
Flume和Kafka整合安装
摘要：版本号： RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.1 1.flume安装 RedHat6.5安装单机flume1.6：http://blog.leanote.com/post/2630794313@qq.com/26781d33b435 2.kaf 阅读全文
posted @ 2017-07-26 09:24 四叶草Grass 阅读(433) 评论(0) 推荐(0)
Flume连接oracle实时推送数据到kafka
摘要：版本号： RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.1 flume安装 RedHat6.5安装单机flume1.6：RedHat6.5安装单机flume1.6 kafka安装 RedHat6.5安装kafka集群 ： RedHat6.5安装kafka 阅读全文
posted @ 2017-07-26 09:23 四叶草Grass 阅读(2476) 评论(0) 推荐(0)