高可用机制

分布式集群

  RocketMQ分布式集群是通过MasterSlave的配合达到高可用性的。MasterSlave的区别:在Broker的配置文件中,参数brokerId的值为0表明这个BrokerMaster,大于0表明这个BrokerSlave,同时brokerRole参数也会说明这个BrokerMaster还是Slave

  Master角色的Broker支持读和写,Slave角色的Broker仅支持读,就是 Producer只能和Master角色的Broker连接写入消息;Consumer可以连接 Master角色的Broker,也可以连接Slave角色的Broker来读取消息

 消息消费高可用

  在Consumer的配置文件中,并不需要设置是从Master读还是从Slave 读,当Master不可用或者繁忙的时候,Consumer会被自动切换到从Slave 读。有了自动切换Consumer这种机制,当一个Master角色的机器出现故障后,Consumer仍然可以从Slave读取消息,不影响Consumer程序。这就达到了消费端的高可用性。

消息发送高可用

  创建Topic的时候,把Topic的多个Message Queue创建在多个Broker组上(相同Broker名称,不同 brokerId的机器组成一个Broker组),当一个Broker组的Master不可用后,其他组的Master仍然可用,Producer仍然可以发送消息。RocketMQ目前还不支持把Slave自动转成Master,如果机器资源不足,需要把Slave转成Master,则要手动停止Slave角色的Broker,更改配置文件,用新的配置文件启动Broker

  

消息主从复制

  如果一个Broker组有MasterSlave,消息需要从Master复制到Slave上,有同步和异步两种复制方式。

同步复制

  同步复制方式是等MasterSlave均写成功后才反馈给客户端写成功状态;

  在同步复制方式下,如果Master出故障, Slave上有全部的备份数据,容易恢复,但是同步复制会增大数据写入 延迟,降低系统吞吐量。

异步复制

  异步复制方式是只要Master写成功,即可反馈给客户端写成功状态。

  在异步复制方式下,系统拥有较低的延迟和较高的吞吐量,但是如果Master出了故障,有些数据因为没有被写 入Slave,有可能会丢失;

  同步复制和异步复制是通过Broker配置文件里的brokerRole参数进行设置的,这个参数可以被设置成ASYNC_MASTERSYNC_MASTERSLAVE三个值中的一个。

  通常情况下,应该把MasterSlave配置成ASYNC_FLUSH的刷盘方式,主从之间配置成SYNC_MASTER的复制方式,这样即使有一台机器出故障,仍然能保证数据不丢

A. 首先启动Master并在指定端口监听;
B. 客户端启动,主动连接Master,建立TCP连接;
C. 客户端以每隔5s的间隔时间向服务端拉取消息,如果是第一次拉取的话,先获取本地commitlog文件中最大的偏移量,以该偏移量向服务端拉取消息;
D. 服务端解析请求,并返回一批数据给客户端;
E. 客户端收到一批消息后,将消息写入本地commitlog文件中,然后向Master汇报拉取进度,并更新下一次待拉取偏移量;
F. 然后重复第3步;

RocketMQ主从同步一个重要的特征:主从同步不具备主从切换功能,即当主节点宕机后,从不会接管消息发送,但可以提供消息读取

 

posted on 2022-05-06 14:58  溪水静幽  阅读(125)  评论(0)    收藏  举报