摘要：
Kafka与Flume之集成比较 一、Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：flume：cloudera公司研发: 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操作； 适合与Hadoop生态圈对接的操作。kaf 阅读全文
posted @ 2021-11-03 19:36
逆光飞翔-
阅读(198)
评论(0)
推荐(0)
摘要：
Kafka之配置信息 一、Broker配置信息 属性 默认值 描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition 阅读全文
posted @ 2021-11-03 19:33
逆光飞翔-
阅读(206)
评论(0)
推荐(0)
摘要：
Kafka 之 Streams 一、概述 1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2 Kafka Streams特点 1）功能强大 高 阅读全文
posted @ 2021-11-03 19:29
逆光飞翔-
阅读(326)
评论(0)
推荐(0)
摘要：
Kafka 之producer拦截器(interceptor) 一、拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及produce 阅读全文
posted @ 2021-11-03 19:22
逆光飞翔-
阅读(213)
评论(0)
推荐(0)
摘要：
Kafka之 API实战 一、环境准备 1）启动zk和kafka集群，在kafka集群中打开一个消费者 [hadoop1 kafka]$ bin/kafka-console-consumer.sh \ --zookeeper hadoop1:2181 --topic first 2）导入pom依赖 阅读全文
posted @ 2021-11-03 19:16
逆光飞翔-
阅读(317)
评论(0)
推荐(0)
浙公网安备 33010602011771号