kafka -- 介绍
kafka 是一个 分布式的发布订阅形式的消息系统。
作为一个消息系统,kafka 有着 削峰,解耦,异步 的作用。
自身特点:
1)只有发布订阅模式 ,其他消息中间件 还有 点对点模式。
2)消息被消费后,还能存留,保留时间可自定义。
3)吞吐量大,内置分区和复制集
kafka 整个系统包含 server 和 client,它们之间通过 tcp 协议通讯。
server:服务端,以集群 的方式运行。集群可以包含一个或多个服务器 。存储数据的服务器称为 broker。
client:客户端,生产者 和 消费者 都是客户端。
消息 ->  topic ->  replica -> partition
消息 存在 topic 中,每个 topic 都可以有主从备份(leader,follower),消息分散在各个分片中。
主从备份可以提高可用性,即使单个broker不可用,也不会导致整个系统不可用。
分片存储可以水平扩展存储容量,提高服务器负载能力。存更多,读写更快。
Kafka学习之路: https://www.cnblogs.com/qingyunzong/category/1212387.html
kafka 数据重复问题 exactly once : https://blog.csdn.net/u010176014/article/details/107677430
kafka 事务:https://blog.csdn.net/muyimo/article/details/91439222
kafka 消费者、生产者与分区: https://www.cnblogs.com/cjsblog/p/9664536.html
kafka 消费者组:https://www.cnblogs.com/songanwei/p/9202803.html
kafka 数据存储在磁盘:
https://blog.csdn.net/weixin_28956753/article/details/113017705
https://blog.csdn.net/m0_37822490/article/details/100801527
现代操作系统 能 预读取( read-ahead ,按大块倍数预取数据),延迟写入(write-behind,将较小的逻辑写入组合为较大的物理写入)
线性读写速度比随机读写高很多(6000倍)
kafka 中文:https://www.orchome.com/kafka/index
官网:http://kafka.apache.org/documentation/
 
                    
                     
                    
                 
                    
                
 
                
            
         
         浙公网安备 33010602011771号
浙公网安备 33010602011771号