电影推荐系统-[实时推荐部分]（四）Flume对接Kafka

电影推荐系统-[实时推荐部分]（四）Flume对接Kafka

Flume主要就是配置文件

首先在flume下面创建一个目录：

[root@tjx1 apache-flume-1.7.0-bin]# mkdir test_confs

然后将配置文件复制进去：

[root@tjx1 test_confs]# ll

total 4

-rw-r--r-- 1 root root 1289 Aug 30 16:37 log-kafka.properties

进行修改：

 

接下来多开几个窗口

一个用来执行tail -f 监控命令查看log

[root@tjx1 ~]# tail -f /usr/local/apache-tomcat-8.5.23/logs/catalina.out

另外一个用来启动Flume

[root@tjx1 apache-flume-1.7.0-bin]# ./bin/flume-ng agent -c ./conf/ -f ./test_confs/log-kafka.properties -n agent

再启动一个窗口，启动Kafka的consumer接log

[root@tjx1 kafka_2.12-0.10.2.1]# ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.212.21:9092 -topic log

接下来向/usr/local/apache-tomcat-8.5.23/logs/catalina.out文件追加一些内容：

echo 'MOVIE_RATING_PREFIX:1|20|5.0|1564412038' >> /usr/local/apache-tomcat-8.5.23/logs/catalina.out 

 

这样日志到Kafka的这段流程就完成了：