RocketMQ—如何解决消息堆积问题
RocketMQ—如何保证消息不丢失
生产者发送到MQ的消息,会放到broker的硬盘内,这便是消息的持久化。消息会有两种持久化策略:
- 同步刷盘:消息过来就会进入磁盘,再向生产者发送写成功,这会很安全,但是性能相对会比较差(只是相对而言,但是也是很快的);但是磁盘坏了,就会消息丢失,对于这种情况,可以进行集群部署。
- 异步刷盘:消息过来会先在一个缓冲区buffer中写,统一落盘;如果计算机断电,就会丢失;我们可以自己进行持久化,可以放到日志中,可以存入数据库中。
- 生产者发送消息时,把发送的记录存入数据库中,设置消费状态为0(未消费);
- 消费者处理完业务逻辑后,更新状态为1(已经消费)
- 有定时任务,去查询数据库中当天哪些消息状态为0,进行补发,结合幂等性,再避免重复消息。
可以开启mq的trace机制,消息跟踪机制,这样就可以追踪消息的情况:
-
在broker.conf中开启消息追踪
traceTopicEnable=true
-
重启broker即可
-
生产者配置文件开启消息轨迹
enable-msg-trace: true
-
消费者开启消息轨迹功能,可以给单独的某一个消费者开启
enableMsgTrace = true
注意不要kill -9
,因为可能有任务在工作,kill就可以。
重启broker。
修改生产者配置文件:
使用messageId可以查询消息轨迹:
消费者方: