随笔分类 -  Kafka

摘要:一、添加pom文件 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 二、配置文件修改 server: port: 8080 lo 阅读全文
posted @ 2021-05-28 10:03 认真对待世界的小白 阅读(298) 评论(0) 推荐(0)
摘要:一、ZooKeeper 集群搭建 ZooKeeper 节点端口:2181/2182/2183 cp -r 复制zk节点 修改配置zoo.cfg #客户端端口,三台分别为2181、2182、2183clientPort=2181 ​ #数据存储路径,三台分别为/tmp/zookeeper/2181,/ 阅读全文
posted @ 2021-05-27 16:26 认真对待世界的小白 阅读(224) 评论(0) 推荐(0)
摘要:一、Kafka 数据存储流程和 log 日志讲解 Kafka 采取了分片和索引机制,将每个 Partition 分为多个segment,每个 segment 对应2个文件 log 和 index index文件中并没有为每一条message建立索引,采用了稀疏存储的方式 每隔一定字节的数据建立一条索 阅读全文
posted @ 2021-05-27 16:24 认真对待世界的小白 阅读(435) 评论(0) 推荐(0)
摘要:在 SpringBoot 整合 kafka 很简单。添加依赖 kafka-clients <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.0</v 阅读全文
posted @ 2021-05-27 13:38 认真对待世界的小白 阅读(454) 评论(0) 推荐(0)
摘要:一、简介 Kafka 是最初由 Linkedin 公司开发,Linkedin 于2010年贡献给了 Apache 基金会并成为顶级开源项目,也是一个开源【分布式流处理平台】,由 Scala 和 Java 编写,(也当做 MQ 系统,但不是纯粹的消息系统)。一句话概括:Kafka 是一种高吞吐量的分布 阅读全文
posted @ 2021-05-21 15:31 认真对待世界的小白 阅读(161) 评论(0) 推荐(0)