随笔分类 -  第三方组件 / Kafka

.net集成kafka使用小记
摘要：安装nuget包 Confluent.Kafka 创建主题 有三种方式，一种是在kafka-manager UI界面上创建，一种是在kafka-tool软件上创建，一种是通过代码创建。 kafka-manager： 在kafka-manager界面上创建Cluster，并在该Cluster下创建To 阅读全文
posted @ 2025-06-10 23:51 相遇就是有缘 阅读(233) 评论(0) 推荐(0)
kafka入门
摘要：定义 是一种高吞吐量的分布式发布订阅消息系统。由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 目的 通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时消息。 特点 高吞吐量：可满足每秒百万级别的消息的生产和消费。 持久性：具备一套完整 阅读全文
posted @ 2025-06-10 23:49 相遇就是有缘 阅读(60) 评论(0) 推荐(0)
消息队列组件-kafka对比rabbitmq
摘要：吞吐量：kafka对比rabbitmq在处理大数据时表现更出色，吞吐量更高。 扩展性：kafka可通过增加服务器数量来实现水平扩展，而rabbitmq实现扩展的复杂性和成本更高（需要通过多节点集群或镜像队列来实现水平扩展）。 持久化：kafka的数据默认是持久化的（持久化消息到磁盘，并按时间策略自动 阅读全文
posted @ 2025-06-10 15:05 相遇就是有缘 阅读(116) 评论(0) 推荐(0)
kafka相关的问题
摘要：kafka 如何实现主从同步 Kafka通过副本机制来实现主从同步。每个分区都有多个副本，其中一个副本被指定为领导者（Leader），其他副本被指定为追随者（Follower）。Leader负责处理所有的读写请求，而Follower只是简单地复制领导者的数据。 当生产者向Kafka发送消息时，它会将 阅读全文
posted @ 2025-06-03 23:14 相遇就是有缘 阅读(62) 评论(0) 推荐(0)
kafka可视化工具kafka-tool
摘要：介绍 Kafka Tool是一个Kafka的可视化客户端工具，通过它可以查看 Topic 的队列信息、消费者信息以及 kafka 节点信息。 下载地址 https://www.kafkatool.com/download.html 基于自己系统位数下载对应的版本即可，这里我是Windows系统64位 阅读全文
posted @ 2025-06-03 23:13 相遇就是有缘 阅读(1761) 评论(0) 推荐(0)
windows环境安装kafka
摘要：下载kafka前需要先下载JDK、Scala、ZooKeeper，完成JDK的环境变量配置。 下载地址 Kafka官网地址和阿里云镜像地址：http://kafka.apache.org/、https://mirrors.aliyun.com/apache/kafka/ JDK：https://ww 阅读全文
posted @ 2025-06-03 23:11 相遇就是有缘 阅读(1108) 评论(0) 推荐(1)
centos7-利用docker-compose搭建kafka集群 _
摘要：集群配置信息 IP 实例名 192.168.12.136 kafka1 192.168.12.137 kafka2 192.168.12.138 kafka3 创建zookeeper集群 有些教程是一个docker-compose文件同时创建zookeeper和kafka实例，本教程未按此方式操作。 阅读全文
posted @ 2025-06-03 15:51 相遇就是有缘 阅读(311) 评论(0) 推荐(0)