l2c

2020年2月1日

摘要： RocketMQ并没有真正实现推模式，而是消费者主动想消息服务器拉取消息，推模式是循环向消息服务端发送消息拉取请求。如果消息消费者向RocketMQ发送消息拉取时，消息未到达消费队列：如果不启用长轮询机制消息并未达到消费队列，则会在服务端等待shortPollingTimeMills时间后再去判阅读全文

posted @ 2020-02-01 17:50 l2c 阅读(659) 评论(0) 推荐(0)

【mq读书笔记】客户端处理消息(回调提交到异步业务线程池，pullRequest重新入队)

摘要：看一下客户端收到消息后的处理： MQClientAPIImpl#processPullResponse private PullResult processPullResponse( final RemotingCommand response) throws MQBrokerException, 阅读全文

posted @ 2020-02-01 17:45 l2c 阅读(480) 评论(0) 推荐(0)

2020年1月29日

【mq读书笔记】消息拉取

摘要：疑问：PullRequest何时添加？ PullMessageService提供延迟添加与立即添加2种方式疑问：PullRequest是在什么时候创建的呢？ 1.上上图中 PullRequest pullRequest = this.pullRequestQueue.take(); this.pu 阅读全文

posted @ 2020-01-29 13:21 l2c 阅读(494) 评论(0) 推荐(0)

2020年1月28日

【mq读书笔记】mq消息消费

摘要：消息消费以组的的模式开展；一个消费组内可以包含多个消费者，每一个消费组可订阅多个主题；消费组之间有集群模式与广播模式两种消费模式：集群模式-主题下的同一条消息只允许被其中一个消费者消费。广播模式-主题下的同一条消息将被集群内的所有消费者消费一次。集群模式下消息队列负载机制遵循一个通用的思想：一个阅读全文

posted @ 2020-01-28 17:34 l2c 阅读(693) 评论(0) 推荐(0)

2020年1月27日

【mq学习笔记】mq 过期文件删除机制

摘要： broker不会关注这个文件上的消息是否全部被消费。默认每个文件的过期时间为72小时。阅读全文

posted @ 2020-01-27 23:12 l2c 阅读(318) 评论(0) 推荐(0)

【mq读书笔记】mq索引文件刷盘

摘要：索引文件的刷盘并不是采取定时刷盘机制，而是每更新一次索引文件就会将上一次的改动刷写到磁盘。同步刷盘： GroupCommitRequest将被提交到GroupCommitService线程，GroupCommitService线程处理GroupCommitRequest对象后将调用wakeupCu 阅读全文

posted @ 2020-01-27 18:32 l2c 阅读(284) 评论(0) 推荐(0)

【mq读书笔记】如何保证三个消息文件的最终一致性。

摘要：考虑转发任务未成功执行，此时消息服务器Broker宕机，导致commitlog，consumeQueue，IndexFile文件数据不一致。 commitlog，consumeQueue遍历每一条消息，将flushedPosition，committedWhere设置到最后一条正常消息处，并删除在这阅读全文

posted @ 2020-01-27 01:15 l2c 阅读(751) 评论(0) 推荐(0)

【mq读书笔记】消息消费队列和索引文件的更新

摘要： ConsumeQueue，IndexFile需要及时更新，否则无法及时被消费，根据消息属性查找消息也会出现较大延迟。 mq通过开启一个线程ReputMessageService来准时转发commitLog文件更新事件，相应的任务处理器根据转发的消息及时更新ConsumeQueue，IndexFile 阅读全文

posted @ 2020-01-27 00:19 l2c 阅读(297) 评论(0) 推荐(0)

2020年1月26日

mq checkpoint文件

摘要：记录comitlog，consumeQueue，Index文件的刷盘时间点，文件固定长度4k，其中只用该文件的24个字节，其存储格式： 8字节physicMsgtimestamp+8字节logicsMsgTimestamp+8字节indexMsgTimestamp physicMsgtimestam 阅读全文

posted @ 2020-01-26 23:01 l2c 阅读(177) 评论(0) 推荐(0)

【mq读书笔记】Index索引文件

摘要： 1.IndexHeader头部，40字节，记录IndexFile的统计信息： begainTimestamp：该索引文件中包含消息的最小存储时间 endTimestamp：该索引文件中包含消息的最大存储时间 begainPhyoffset：该索引文件中包含消息的最大物理偏移量(commitlog文件阅读全文

posted @ 2020-01-26 00:10 l2c 阅读(383) 评论(0) 推荐(0)

公告