随笔分类 -  kafka

数据采集flume kafka
摘要：需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s 阅读全文
posted @ 2020-06-26 21:07 bioamin 阅读(372) 评论(0) 推荐(0)
kafka 练习
摘要：启动 创建topic ./kafka-topics.sh --create --zookeeper dip005:2181,dip006:2181,dip007 --replication-factor 1 --partitions 1 --topic test2 ./kafka-topics.sh 阅读全文
posted @ 2019-05-22 18:22 bioamin 阅读(268) 评论(0) 推荐(0)
CM5.15安装kafka
摘要：cm主节点执行：[root@dip001 kafka]#ll KAFKA-1.2.0.jar KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 manifest.json [root@dip001 阅读全文
posted @ 2019-03-07 19:05 bioamin 阅读(315) 评论(0) 推荐(0)
kafka集群安装
摘要：0. Kafka源码包下载 http://mirror.bit.edu.cn/apache/kafka/ 1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99 2. 下载软件包 #Master wget http:// 阅读全文
posted @ 2018-08-15 09:32 bioamin 阅读(154) 评论(0) 推荐(0)