Rocketmq 如何处理消息积压 ？

一、消息积压发现

1、Console入口

A、延迟数量（Delay）【低类】

消息积压数量，即当前Topic还剩下多少消息未处理，该值越大，表示积压的消息越多

B、最后消费时间（LastConsumeTime）

当前Topic消息最后被消费的时间，该值表示消费端有多长时间未拉取消息进行消费

2、使用 RocketMQ 管理控制台：

RocketMQ 提供了管理控制台，可以实时查看 Broker、主题、队列和消费者组的状态。通过管理控制台，可以直观地了解消息堆积数量、消费速率、消息延迟和消费者偏移量等关键指标

3、集成监控系统：

可以集成 Prometheus、Grafana 等监控系统，通过 RocketMQ 的监控插件（如 RocketMQ Exporter）收集和展示关键指标。通过监控系统，可以设置告警规则，当消息堆积数量、消费速率或消息延迟超过阈值时，及时发出告警

4、分析日志：

RocketMQ 提供了详细的日志记录功能，可以通过分析日志文件，了解生产者和消费者的运行状态，排查消息积压的原因。例如，可以通过日志查看消费者是否存在处理异常、网络延迟等问题

二、导致消息堆积出现的原因有以下几种

1、生产端引起的积压

在某些情况下，生产者可能会突然增加发送速率，或者持续发送大量消息，超出了系统的处理能力

• 流量高峰：特定事件或情况可能导致消息量暴增，如促销活动、日志收集系统在错误发生时的突增等

• 生产者配置不当：生产者配置错误可能导致发送过多的消息到队列

2、消费端引起的积压

最常见的原因是消费者处理消息的速度跟不上生产者生产消息的速度。这可能是由于：

• 消费者处理逻辑复杂或效率低：如果每条消息的处理时间过长，会导致处理队列中的消息堆积

• 消费者数量不足：消费者的数量可能不足以处理入队消息的数量，尤其是在高峰时间

• 消费者处理能力预估不足：针对消费者的处理能力没有做好压测和限流

• 消费端存在业务逻辑bug，导致消费速度低于平常速度

3、资源限制

• 服务器性能限制：CPU、内存或I/O性能不足，无法高效处理消息

• 网络问题：网络延迟或带宽不足也会影响消息的发送和接收速度

我们常用的排查方法是跟踪线程栈，利用jstack命令查看线程运行情况，以此探究线程的运行情况。通常可以使用下面的命令：

ps -ef | grep java

jstack pid > j1.log

三、处理消息积压的解决方案

1、增加消费者线程数量

2、消息业务异步处理

3、调整消费者的消费模式，将顺序消费改为并行消费，提高效率

4、使用消息过滤

通过消息过滤，只需消费重要的消息，降低消费压力

5、临时扩容

在消息积压严重时，可以临时启动额外的消息者实例来快速消费积压的消息

6、调整生产者发送策略

如果可能，可以调整生产者的发送策略，如降低发送频率或者实现背压机制