MQ消息的有序性

参考：https://www.jianshu.com/p/02fdcb9e8784

为了系统间解耦，我们通常会引入MQ框架，大家各司其职共同完成上下游的业务流程

大致过程：

• 生产端，创建一条消息，通过网络发送到 MQ Server；
• MQ 将消息存储在 topic 的一个分区里；
• 消费端，从分区中拉取消息，消费处理。

但现实往往不一样！MQ 架构设计要满足高并发、高性能、高可用等指标。

举例

比如通过mysql binlog进行两个数据库的数据同步，由于对数据库的数据操作是具有顺序性的，如果操作顺序搞反，就会造成不可估量的错误。比如数据库对一条数据依次进行了 插入->更新->删除操作，这个顺序必须是这样，如果在同步过程中，消息的顺序变成了 删除->插入->更新，那么原本应该被删除的数据，就没有被删除，造成数据的不一致问题。

场景1-RabbitMQ

一个queue，有多个consumer去消费，这样就会造成顺序的错误，consumer从MQ里面读取数据是有序的，但是每个consumer的执行时间是不固定的，无法保证先读到消息的consumer一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。

解决方案

拆分多个queue，每个queue一个consumer，就是多一些queue而已，确实是麻烦点；这样也会造成吞吐量下降，可以在消费者内部采用多线程的方式取消费。

场景2-RabbitMQ

一个queue对应一个consumer，但是consumer里面进行了多线程消费，这样也会造成消息消费顺序错误。

解决方案

或者就一个queue但是对应一个consumer，然后这个consumer内部用内存队列做排队，然后分发给底层不同的worker来处理

场景3-Kafaka

kafka一个topic，一个partition，一个consumer，但是consumer内部进行多线程消费，这样数据也会出现顺序错乱问题

解决方案

确保同一个消息发送到同一个partition，一个topic，一个partition，一个consumer，内部单线程消费

场景4-Kafaka

具有顺序的数据写入到了不同的partition里面，不同的消费者去消费，但是每个consumer的执行时间是不固定的，无法保证先读到消息的consumer一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。

解决方案

写N个内存queue，然后N个线程分别消费一个内存queue即可