Flume安装——环境搭建(二)

前言

如果你从本文中学习到丝毫知识,那么请您点点关注、点赞、评论和收藏
大家好,我是爱做梦的鱼,我是东北大学大数据实验班大三的小菜鸡,非常渴望优秀,羡慕优秀的人。从5月25号我们开始了为期两个月的实习,我们需要做一个大型大数据项目,一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏,我会每天更新。
专栏:大数据案例实战——大三春招大数据开发
专栏:Spark官方文档解读【Spark2.4.5中英双语】
博客地址:子浩的博客https://blog.csdn.net/weixin_43124279

欢迎大家关注微信公众号【程序猿干货铺
一群热爱技术并且向往优秀的程序猿同学,不喜欢水文,不喜欢贩卖焦虑,只喜欢谈技术,分享的都是技术干货。Talk is cheap. Show me the code
在这里插入图片描述

一、flume (日志收集系统) 简介

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

1.日志收集

Flume最早是Cloudera提供的日志收集系统,是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。

2.优势

  1. Flume可以将应用产生的数据存储到任何集中存储器中,比如HDFS,HBase
  2. 当收集数据的速度超过将写入数据的时候,也就是当收集信息遇到峰值时,这时候收集的信息非常大,甚至超过了系统的写入数据能力,这时候,Flume会在数据生产者和数据收容器间做出调整,保证其能够在两者之间提供平稳的数据.
  3. 提供上下文路由特征
  4. Flume的管道是基于事务,保证了数据在传送和接收时的一致性.
  5. Flume是可靠的,容错性高的,可升级的,易管理的,并且可定制的。

二、Flume安装

1.Flume安装地址

1) Flume官网地址
http://flume.apache.org/
2)文档查看地址
http://flume.apache.org/FlumeUserGuide.html
3)下载地址
http://archive.apache.org/dist/flume/

2.安装部署

1)将apache-flume-1.9.0-bin.tar.gz上传到linux的/BigData目录下
2)解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下

tar -zxf apache-flume-1.9.0-bin.tar.gz 

在这里插入图片描述
3)修改apache-flume-1.9.0-bin的名称为flume-1.9.0

mv apache-flume-1.9.0-bin flume-1.9.0

在这里插入图片描述
4)将flume/conf下的flume-env.sh.template文件修改为flume-env.sh,并配置flume-env.sh文件

mv flume-env.sh.template flume-env.sh
vim flume-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_151
posted @ 2020-06-03 17:21  爱做梦的子浩  阅读(154)  评论(0编辑  收藏  举报