随笔分类 -  MQ

摘要:1、吞吐量 kafka吞吐量更高: 1)Zero Copy机制,内核copy数据直接copy到网络设备,不必经过内核到用户再到内核的copy,减小了copy次数和上下文切换次数,大大提高了效率。 2)磁盘顺序读写,减少了寻道等等的时间。 3)批量处理机制,服务端批量存储,客户端主动批量pull数据, 阅读全文
posted @ 2018-08-06 14:11 Small_office 阅读(9281) 评论(0) 推荐(4)
摘要:1、普通生产消费: 执行consumer: 消费完成,获取到消息,并未回,队列消息已不存在: 需要回消息的情况,需要改造消费者: 取消注释,在消费时候回消息,队列消息被删除: 2、持久化 前面的队列和消息都是没有持久化的,当rabbitmq-server重启,队列就会丢失,所以下面讨论持久化: 可以 阅读全文
posted @ 2018-08-04 16:04 Small_office 阅读(1001) 评论(0) 推荐(0)
摘要:3、kafka提供了偏移量的概念,允许消费者根据偏移量消费之前遗漏的内容,这基于kafka名义上的全量存储,可以保留大量的历史数据,历史保存时间是可配置的,一般是7天,如果偏移量定位到了已删除的位置那也会有问题,但是这种情况可能很小;每个保存的数据文件都是以偏移量命名的,当前要查的偏移量减去文件名就 阅读全文
posted @ 2018-08-01 10:41 Small_office 阅读(85288) 评论(3) 推荐(8)