kafka小介

kafka是什么?  

 kafka是一个分布式基于发布/订阅的消息系统,它以可水平拓展和高吞吐率而被广泛使用。

kafka的组成

  • Broker :kafka集群中的服务器,其不维护数据消费状态,使用磁盘存储,线性读写,速度快。  
  • Producer:负责发布消息到broker
  • Consumer:消息消费者,从broker拉取数据并消费处理。
  • Topic:消息的类别,相当于queue,每条消费都必须要指定topic。不同topic的消息分开存储,用户只需指定消息的topic即可生产或消费数据。
  • Partition:在物理上把topic分成一个或多个Partition,每个Partition在物理上对应一个文件夹。
  • Consumer Group:与Consumer 是一对多的关系,一个消费者属于一个group。

缺点

  • kafka没有消息确认机制,不能确保消息的发送和接受的绝对可靠。

适用场景

  • 常规的消息系统
  • 网站活性跟踪工具
  • 可操作的监控数据
  • 采集操作日志      

以上参考:https://mp.weixin.qq.com/s/Ulo5O94iujlBBRv5ssl1Pw

posted @ 2021-05-27 23:18  smallzhen  阅读(68)  评论(0编辑  收藏  举报