kafka -- 介绍

kafka 是一个 分布式的发布订阅形式的消息系统。

作为一个消息系统,kafka 有着 削峰,解耦,异步 的作用。

自身特点:
1)只有发布订阅模式 ,其他消息中间件 还有 点对点模式。
2)消息被消费后,还能存留,保留时间可自定义。
3)吞吐量大,内置分区和复制集

kafka 整个系统包含 server 和 client,它们之间通过 tcp 协议通讯。

server:服务端,以集群 的方式运行。集群可以包含一个或多个服务器 。存储数据的服务器称为 broker。

client:客户端,生产者 和 消费者 都是客户端。

消息 -> topic -> replica -> partition
消息 存在 topic 中,每个 topic 都可以有主从备份(leader,follower),消息分散在各个分片中。
主从备份可以提高可用性,即使单个broker不可用,也不会导致整个系统不可用。
分片存储可以水平扩展存储容量,提高服务器负载能力。存更多,读写更快。




Kafka学习之路: https://www.cnblogs.com/qingyunzong/category/1212387.html
kafka 数据重复问题 exactly once : https://blog.csdn.net/u010176014/article/details/107677430
kafka 事务:https://blog.csdn.net/muyimo/article/details/91439222

kafka 消费者、生产者与分区: https://www.cnblogs.com/cjsblog/p/9664536.html
kafka 消费者组:https://www.cnblogs.com/songanwei/p/9202803.html


kafka 数据存储在磁盘:

https://blog.csdn.net/weixin_28956753/article/details/113017705
https://blog.csdn.net/m0_37822490/article/details/100801527

现代操作系统 能 预读取( read-ahead ,按大块倍数预取数据),延迟写入(write-behind,将较小的逻辑写入组合为较大的物理写入)
线性读写速度比随机读写高很多(6000倍)

kafka 中文:https://www.orchome.com/kafka/index
官网:http://kafka.apache.org/documentation/

posted @ 2021-04-30 18:26  zhanglw  阅读(123)  评论(0)    收藏  举报