10、Flume 组件安装配置

10、flume组件

1.部署flume组件(在master上执行)

在4,5,7,8,的基础上完成

# 使用xftp上传软件包到/opt/software
tar xf /opt/software/apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/
cd /usr/local/src
mv apache-flume-1.6.0-bin flume
chown -R hadoop.hadoop /usr/local/src/
vi /etc/profile.d/flume.sh

export FLUME_HOME=/usr/local/src/flume
export PATH=${FLUME_HOME}/bin:$PATH
# 保存以上配置后执行以下命令

su - hadoop
echo $PATH
# 如果能看到flume的安装路径则表示环境变量设置没问题

2.配置flume(在master上执行)

vi /usr/local/src/hbase/conf/hbase-env.sh

#export HBASE_CLASSPATH=/usr/local/src/hadoop/etc/hadoop/ 注释掉这一行的内容

cd /usr/local/src/flume/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh

export JAVA_HOME=/usr/local/src/jdk
# 保存以上配置后执行以下命令

start-all.sh
# 执行以上命令后要确保master上有NameNode、SecondaryNameNode、ResourceManager进程，在slave节点上要能看到DataNode、NodeManager进程

flume-ng version
cd /usr/local/src/flume
vi simple-hdfs-flume.conf

a1.sources=r1
a1.sinks=k1
a1.channels=c1
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs
a1.sources.r1.fileHeader=true
a1.sources.r1.deserializer.maxLineLength=30000
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume
a1.sinks.k1.hdfs.rollsize=1024000
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.rollInterval=900
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.channels.c1.type=file
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=1000
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
# 保存以上配置后执行以下命令

hdfs dfs -rm -r /tmp
hdfs dfs -mkdir -p /tmp/flume
hdfs dfs -ls /
flume-ng agent --conf-file simple-hdfs-flume.conf --name a1
hdfs dfs -ls /tmp/flume
# 执行以上命令后如果能看到flumedata的文件则表示成功