RocketMQ—如何解决消息堆积问题

RocketMQ—如何保证消息不丢失

生产者发送到MQ的消息,会放到broker的硬盘内,这便是消息的持久化。消息会有两种持久化策略:

  1. 同步刷盘:消息过来就会进入磁盘,再向生产者发送写成功,这会很安全,但是性能相对会比较差(只是相对而言,但是也是很快的);但是磁盘坏了,就会消息丢失,对于这种情况,可以进行集群部署。
  2. 异步刷盘:消息过来会先在一个缓冲区buffer中写,统一落盘;如果计算机断电,就会丢失;我们可以自己进行持久化,可以放到日志中,可以存入数据库中。
    1. 生产者发送消息时,把发送的记录存入数据库中,设置消费状态为0(未消费);
    2. 消费者处理完业务逻辑后,更新状态为1(已经消费)
    3. 有定时任务,去查询数据库中当天哪些消息状态为0,进行补发,结合幂等性,再避免重复消息。

可以开启mq的trace机制,消息跟踪机制,这样就可以追踪消息的情况:

  1. 在broker.conf中开启消息追踪

    traceTopicEnable=true
    
  2. 重启broker即可

  3. 生产者配置文件开启消息轨迹

    enable-msg-trace: true
    
  4. 消费者开启消息轨迹功能,可以给单独的某一个消费者开启

    enableMsgTrace = true
    

杀死broker进程

注意不要kill -9,因为可能有任务在工作,kill就可以。

broker配置文件

重启broker。

修改生产者配置文件:

生产者配置文件

使用messageId可以查询消息轨迹:

查询轨迹

消费者方:

消费者方配置

posted on 2024-03-06 07:53  随机的未知  阅读(42)  评论(0编辑  收藏  举报

导航