随笔分类 -  Flume

Flume原理简介 + 组件
摘要：1.1 简介 Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中 阅读全文

posted @ 2022-08-25 14:08 理想三旬_z 阅读(301) 评论(0) 推荐(0)

实操1：使用Flume连接kafka并传入数据
摘要：这里数据源存放在hdfs上 启动项：【hadoop(主要用hdfs)，zookeeper，kafka，flume】 start-all.sh zkServer.sh start kafka-server-start.sh /opt/soft/kafka200/config/server.proper 阅读全文

posted @ 2021-11-09 22:40 理想三旬_z 阅读(663) 评论(0) 推荐(0)

导航