swneng

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

Kafka 特性

标签(空格分隔): Kafka

支持多个生产者

多个生成者连接Kafka来推送消息,这个和其他的消息队列功能基本上是一样的

支持多个消费者

Kafka支持多个消费者来读取同一个消息流上面的数据,再同一个用户组下面,消费者消息读取完毕以后,其他的消费者将不可以重复读取,这种方案可以应用到集服务器对同一个消息流进去并行处理。如果配置在不同的用户组下面,消息是可以重复读取的。

支持消息保存规则,持久化消息

将消息持久化按照一定的规则保存,设置消息保存时间,超过时间内自动删除消息

支持集群

性能高,信息吞吐量大

Kafka采用日志结构存储方式对消息进行持久化,对新消息进行追加,处理单一,因此存储效率高,外加他可以支持集群,分区存储,增加了IO对文件读写效率因此可以实现,ei百万级每秒百万级的消息读写。

使用场景

日志系统,对于一些业务量算庞大的系统,每天要产生很多的日志,日志本身的保存有些情况下是很消耗资源,严重的情况下会有应接不暇,消耗系统性能.

业务提交,现在的网络下单,火车票预定,这些高并发的场景下,一下子有很多用户来提交订单,这个时候可以将订单提交给Kafka,让系统处理Kafka里面的消息逐步的完成业务,缓解单独提交给数据库的压力

监控度量指标充当时序数据库的角色。一般工业自动化监控系统,监控设备的状态,一般每隔一秒都会提交数据,而且监控的点hen很多比如:温度,转速等等,这个时候Kafka也可以用来记录这些状态信息。当然市场上有很多的开源的时序数据库,其实原理都是差不多的。基于LSM存储,集群基于Hadoop分布式原理。

posted on 2019-01-03 09:46  易哲  阅读(1765)  评论(0编辑  收藏  举报