容器化导致RocketMQ消息囤积的原因和解决方案

最近发现RocketMQ消费者集群容器化后,导致Topic中消息囤积,无法正常消费。

 

    0x01 原因:

    Docker容器采用Host网络模式,启动后默认创建的虚拟网桥IP地址一样,且容器内启动的JVM pid都是1。rocketmq默认会使用ip@pid作为instanceName,由于instanceName的一致,导致负载分发错误。
 

    0x02 解决方案:

    跟运维同事一起测试多种方案后,最终确定的解决方式为,设置instanceName,携带时间戳作为区分。
    

  注:此方案仅能解决使用spring cloud streaming的项目,如果直接引入rocketMQ原生sdk,请另寻其他方法解决。

 

    0x03 参考代码:    

1     @PostConstruct
2     public void init() {
3         System.setProperty("rocketmq.client.name", String.valueOf(UtilAll.getPid()) + "@" + System.currentTimeMillis());
4     }   

 

    以上方法,可以写到任何能够注册到spring容器的Bean类中。
posted @ 2022-01-11 17:45  MalcolmFeng  阅读(262)  评论(0编辑  收藏  举报