随笔分类 - Flume

Flume整合Spark Streaming

摘要：Spark版本1.5.2，Flume版本:1.6 Flume agent配置文件：spool-8.51.conf maven文件： Java测试代码打成jar包，启动Spark streaming程序运行agent： cd到flume安装目录，执行。复制文件到监控目录：查看提交Spark 任阅读全文

posted @ 2017-01-05 15:53 骁枫阅读(1455) 评论(0) 推荐(0)

Flume 远程写HDFS

摘要：现在的需求是在一台Flume采集机器上，往Hadoop集群上写HDFS，该机器没有安装Hadoop。这里的Flume版本是1.6.0，Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把阅读全文

posted @ 2016-09-19 16:30 骁枫阅读(5209) 评论(0) 推荐(0)