rocketmq高可用集群部署(RocketMQ-on-DLedger Group)

rocketmq高可用集群部署(RocketMQ-on-DLedger Group)

rocketmq部署架构

rocketmq部署架构非常多,都是为了解决一些问题,越来越高可用,越来越复杂。

  1. 单master模式

    这种方式风险较大,一旦Broker重启或者宕机时,会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

  2. 多master

    一个集群无Slave,全是Master,例如2个Master或者3个Master

    • 优点:配置简单,单个Master宕机或重启维护对应用无影响,在磁盘配置为RAID10时,即使机器宕机不可恢复情况下,由于RAID10磁盘非常可靠,消息也不会丢(异步刷盘丢失少量消息,同步刷盘一条不丢),性能最高;
    • 缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅,消息实时性会受到影响。
  3. 多master异步复制slave

    每个Master配置一个Slave,有多对Master-Slave,HA采用异步复制方式,主备有短暂消息延迟(毫秒级),这种模式的优缺点如下:

    • 优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,同时Master宕机后,消费者仍然可以从Slave消费,而且此过程对应用透明,不需要人工干预,性能同多Master模式几乎一样;
    • 缺点:Master宕机,磁盘损坏情况下会丢失少量消息。
  4. 多master同步复制slave。

    每个Master配置一个Slave,有多对Master-Slave,HA采用同步双写方式,即只有主备都写成功,才向应用返回成功,这种模式的优缺点如下:

    • 优点:数据与服务都无单点故障,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高;
    • 缺点:性能比异步复制模式略低(大约低10%左右),发送单个消息的RT会略高,且目前版本在主节点宕机后,备机不能自动切换为主机。
  5. RocketMQ-on-DLedger Group(可自动主从容灾)

    之前的几种方式,能解决数据冗余备份,一定高可用问题。但是master故障后,多master多slave架构能提供继续想slave消费数据。但是生产数据呢?这会导致生产服务中断不可用。所以又出现了RocketMQ-on-DLedger Group架构。可自主容灾。引入了DLedger工具。

rocketmq架构:

部署架构

部署架构:RocketMQ-on-DLedger Group

服务器数量3台。

部署操作步骤

  1. 官网下载rocketmq二进制包

    官网下载地址:http://rocketmq.apache.org/dowloading/releases/

  2. 解压并安装

    cd /opt
    wget http://192.168.0.155:9999/rocketmq-all-4.9.1-bin-release.zip
    unzip rocketmq-all-4.9.1-bin-release.zip 
    mkdir /data/rocketmq-4.9.1-raftcluster
    
  3. 3台主机分别配置nameserver

    修改bin目录下的文件:runserver.sh,将jvm调整至1G。(由于我服务器资源内存有限)

  4. 3台主机分别启动nameserver

    cd ./bin   #切换到bin目录
    nohup sh mqnamesrv > ./nameserver.log 2>&1 &
    

    每台nameserver是不需要互相通信,NameServer之间数据不同步。和hdfs的nameserver不是一样的概念。

    通过命令netstat -tunlp | grep 9876检查端口9876是否存在

  5. 编辑broker的配置文件

    第一台主机node0的配置(192.168.0.218):vim ./conf/dledger/broker-n0.conf

    内容如下:

    brokerClusterName = RaftCluster  #集群名
    brokerName=RaftNode00  #broker组名,建议和dLegerGroup名一致
    listenPort=30911
    namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
    storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00
    storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00/commitlog
    enableDLegerCommitLog=true
    dLegerGroup=RaftNode00  #dleger组名
    dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
    ## must be unique
    dLegerSelfId=n0  #每个dleger组下面的实例ip,保证唯一
    sendMessageThreadPoolNums=4  #发送线程数,建议和服务器cpu一致
    

    第二台主机node1的配置(192.168.0.89):vim ./conf/dledger/broker-n1.conf

    内容如下:

    brokerClusterName = RaftCluster  #集群名
    brokerName=RaftNode00  #broker组名,建议和dLegerGroup名一致
    listenPort=30911
    namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
    storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01
    storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01/commitlog
    enableDLegerCommitLog=true
    dLegerGroup=RaftNode00  #dleger组名
    dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
    ## must be unique
    dLegerSelfId=n1   #每个dleger组下面的实例ip,保证唯一
    sendMessageThreadPoolNums=4
    

    第三台主机node2的配置(192.168.0.77):vim ./conf/dledger/broker-n2.conf

    内容如下:

    brokerClusterName = RaftCluster
    brokerName=RaftNode00
    listenPort=30911
    namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876
    storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02
    storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02/commitlog
    enableDLegerCommitLog=true
    dLegerGroup=RaftNode00
    dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式
    ## must be unique
    dLegerSelfId=n2
    sendMessageThreadPoolNums=4
    
  6. 修改3台broker的jvm大小,默认是8G

    ./bin目录下,由于我服务器没有8G内存,需修改jvm大小。

    vim runbroker.sh

  1. 每台实例启动broker实例进程

    cd /data/rocketmq-4.9.1-raftcluster/rocketmq-all-4.9.1-bin-release/bin  #安装路径
    
    #在第一台服务器上启动broker
    nohup ./mqbroker -c ../conf/dledger/broker-n0.conf > ./broker.log 2>&1 &
    
    #在第二台服务器上启动broker
    nohup ./mqbroker -c ../conf/dledger/broker-n1.conf > ./broker.log 2>&1 &
    
    #在第三台服务器上启动broker
    nohup ./mqbroker -c ../conf/dledger/broker-n2.conf > ./broker.log 2>&1 &
    

    验证:

    查看输出日志或者用netstat -tunlp | grep 30911命令查看端口是否启动

  2. 用命令行查看dleger集群的状态

    sh bin/mqadmin clusterList -n 127.0.0.1:9876

  3. 安装rocketmq-console的web管理页面(rocketmq-dashboard)

    备注:新版本rocketmq-console已经改名叫rocketmq-dashboard

    rocketmq-dashboard下载地址为:https://github.com/apache/rocketmq-dashboard

    unzip rocketmq-dashboard-master.zip
    cd rocketmq-dashboard-master
    mvn clean package -Dmaven.test.skip=true  #打包如果失败,可以多尝试几次
    
    #构建成功后,jar包在target目录里面
    
    #启动rocketmq-dashboardd的jar包
    java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar --rocketmq.config.namesrvAddr="192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876" --server.port=8080
    

    访问服务器的192.168.0.218:8080端口,能看到集群信息,如下:

  1. RocketMQ-on-DLedger Group集群部署完成。

其他

  1. rocketmq的默认日志文件在启动用户的家目录下的logs里面。

    如需变更需要修改以下3个文件

  1. 本教程部署的RocketMQ-on-DLedger Group。只有一个分片,如果服务器数量充足,可以部署多分片。部署方式参考前面的操作步骤。只是部署更多的服务器,修改配置而已。
posted @ 2021-10-13 17:04  penngke  阅读(221)  评论(0编辑  收藏  举报