随笔分类 -  kafka

kafka知识点目录
摘要：1.Linux环境部署kafka 2.Win10环境部署kafka 3.docker部署kafka 4.kafka的简单使用 5.kafka消息的细节 6.kafka主题和分区的概念 7.kafka集群操作 8.kafka生产者实现细节 9.kafka消费者实现细节 10.kafka集群中的cont 阅读全文
posted @ 2021-11-01 21:54 Dawnlight-_- 阅读(35) 评论(0) 推荐(0)
Kafka-eagle监控平台
摘要：1.准备 (1) 去kafka-eagle的官网下载压缩包: http://download.kafka-eagle.org/ (2) 利用xftp传输到虚拟机中 2.安装 先解压压缩包: tar -xvf kafka-eagle-bin-2.0.8.tar.gz 改名: mv kafka-eagl 阅读全文
posted @ 2021-11-01 21:46 Dawnlight-_- 阅读(166) 评论(0) 推荐(0)
kafka的简单使用
摘要：Kafka的简单使用 1.kafka常用命令 Linux //启动zookeeper ./zookeeper-server-start.sh ../config/zookeeper.properties //启动kafka ./kafka-server-start.sh ../config/serv 阅读全文
posted @ 2021-11-01 20:23 Dawnlight-_- 阅读(201) 评论(0) 推荐(0)
kafka中的优化问题
摘要：1.如何防止消息丢失 ⽣产者： (1）使⽤同步发送。 (2）把ack设成1或者all，并且设置同步的分区数>=2。 消费者： 把⾃动提交改成⼿动提交。 2.如何防止重复消费 在防⽌消息丢失的⽅案中，如果⽣产者发送完消息后，因为⽹络抖动，没有收到ack，但实际上broker已经收到了。 此时⽣产者会进 阅读全文
posted @ 2021-11-01 17:09 Dawnlight-_- 阅读(70) 评论(0) 推荐(0)
kafka集群中的controller、rebalance、HW
摘要：controller 每个broker启动时会向zk创建⼀个临时序号节点，获得的序号最⼩的那个broker将会作为集群中的controller，负责这么⼏件事： 当集群中有⼀个副本的leader挂掉，需要在集群中选举出⼀个新的leader，选举的规则是从isr集合中最左边获得。 当集群中有broke 阅读全文
posted @ 2021-11-01 16:48 Dawnlight-_- 阅读(76) 评论(0) 推荐(0)
kafka消费者实现细节
摘要：消费者的java实现 import java.util.Arrays; import java.util.Properties; public class MySimpleConsumer { private final static String TOPIC_NAME = "my-replicat 阅读全文
posted @ 2021-11-01 15:55 Dawnlight-_- 阅读(147) 评论(0) 推荐(0)
kafka生产者实现细节
摘要：生产者的基本实现 引入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version> </dependency> 具体实现 pack 阅读全文
posted @ 2021-11-01 14:26 Dawnlight-_- 阅读(95) 评论(0) 推荐(0)
kafka集群操作
摘要：搭建kafka集群（三个broker） 创建三个server.properties文件： 这里直接复制然后重命名原来的那个server.properties文件即可。 cp server.properties server1.properties cp server.properties serve 阅读全文
posted @ 2021-10-31 22:32 Dawnlight-_- 阅读(532) 评论(0) 推荐(0)
kafka主题和分区的概念
摘要：kafka主题和分区的概念 1. 主题Topic 主题-topic在kafka中是⼀个逻辑的概念，kafka通过topic将消息进⾏分类。不同的topic会被订阅该topic的消费者消费。 但是有⼀个问题，如果说这个topic中的消息⾮常⾮常多，多到需要⼏T来存，因为消息是会被保存到log⽇志⽂件中 阅读全文
posted @ 2021-10-30 23:19 Dawnlight-_- 阅读(478) 评论(0) 推荐(0)
kafka消息细节
摘要：kafka消息细节 消息的储存 ⽣产者将消息发送给broker，broker会将消息保存在本地的⽇志⽂件中。 消息的保存是有序的，通过offset偏移量来描述消息的有序性。 消费者消费消息时也是通过offset来描述当前要消费的那条消息的位置。 单播消息 在⼀个kafka的topic中，启动两个消费 阅读全文
posted @ 2021-10-30 22:41 Dawnlight-_- 阅读(106) 评论(0) 推荐(0)
docker部署kafka
摘要：docker部署Kafka 1. 搭建docker 这里我直接用的是docker-compose部署，所以需要提前安装好compose。 既然要用compose那么yml文件自然是少不了的。 首先要新建一个目录，并在目录中新建一个yml文件 文件的内容如下： version: '2' service 阅读全文
posted @ 2021-10-20 16:15 Dawnlight-_- 阅读(406) 评论(0) 推荐(0)
win10环境部署kafka
摘要：1.kafka的安装 1.1kafka搭建 kafka环境基于zookeeper,zookeeper环境基于JAVA-JDK。 2.2. 安装JAVA-JDK 略 2.3安装zookeeper 2.3.1 下载 下载地址：https://downloads.apache.org/zookeeper/ 阅读全文
posted @ 2021-10-16 18:46 Dawnlight-_- 阅读(162) 评论(0) 推荐(0)
kafka错误汇总
摘要：1.win10环境下启动kafka的时候出现 ERROR Failed to write meta.properties due t... 阅读全文
posted @ 2021-10-16 17:43 Dawnlight-_- 阅读(168) 评论(0) 推荐(0)