摘要：一、批量消息 虽然我们是一笔一笔消息的发送给kafka，但是kafka并不是立即就发送出去的，而是先将消息缓存起来，再一批一起等个合适的时机一起发送出去。 消费端收到消息不是一个个拆出来一个个处理，而是直接作为一批一起处理，一起读写磁盘io，一起复制，这都大大加快了io的速度。 二、顺序读写 磁盘i 阅读全文

摘要：消息积压在MQ中是一件很正常的事，但是积压过多了，就可以会导致消息的丢失，甚至系统的崩溃。那我们从事前的预防和事后的处理两个方面去解决。 一、事前预防 我们如何预防消息积压呢，一般就是批量和增加并发这两个方法，发送端和消费端都可以从这两个方面去处理。 1.1 发送端 1.批量。比如一次从数据库中批量 阅读全文

摘要：一、消息重复现象 在 MQTT 协议中，给出了三种传递消息时能够提供的服务质量标准： At most once:最多一次，这种情况会丢失部分数据，一般日志收集这种对数据不严格的可以使用 At least once:最少一次，这种会导致一条消息重复发送 Exactly once:正好一次，一条消息只会 阅读全文

摘要：一、队列模型 我们常用的的生产者-消费者模式，生成者生成消息，消费者消费已有的消息。消息队列一开始也是使用这种模式称之为队列模型，生产者将消息投递到消息队列中，消费者从消息队列中取出消息，而消息就是已队列的结构存放在消息队列中。但这种模型有个缺点，当这个消息需要被多个消费者消费的时候，需要生产者发送 阅读全文