snail

摘要： 提高系统性能首先考虑的是数据库的优化，但是数据库因为历史原因，横向扩展是一件非常复杂的工程，所有我们一般会尽量把流量都挡在数据库之前。 不管是无限的横向扩展服务器，还是纵向阻隔到达数据库的流量，都是这个思路。阻隔直达数据库的流量，缓存组件和消息组件是两大杀器。 1. MQ简介 MQ：Message 阅读全文

摘要： Kafka Kafka架构由broker和zookeeper组成，如下图： 注意：Kafka2.8版本可以不依赖Zookeeper独立运行了 Pulsar Pulsar的架构如下： Pulsar Broker会在本地缓存消息，并且支持TTL(消息的存活时间) 从上面的2个架构我们看到，Kafka和P 阅读全文

摘要： 发布订阅模式又叫观察者模式，它定义对象间的一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖他的对象都将得到通知。 RocketMQ的消息订阅分为两种模式： Push模式（MQPullConsumer）: Broker 主动向消费者推送。 Pull模式（MQPushConsumer）: 消费 阅读全文

摘要： 有序消息 有序消息又叫顺序消息（FIFO消息） 是指消息的消费顺序和生产顺序相同，在有些业务逻辑下，必须保证顺序。 比如订单的生成、付款、发货，这个消息必须按照顺序处理才行。 顺序消息分为全局顺序和分区顺序 全局顺序 一个Topic内所有的消息都发送到同一个queue，按照先进先出的顺序进行发布和消 阅读全文

摘要： 批量消息 为什么使用批量消息? 在很多调优的时候，比如数据库批量处理，有些请求进行合并发送等都是类似批量的实现 RocketMQ 批量发送也是为了追求性能，特别在消息数量特别大的时候，批量效果就非常明显 使用批量消息的限制? 同一批次的消息应该具有相同主题、相同的消息配置 不支持延迟消息 建议一个批 阅读全文

摘要： 一、单实例安装&启动 下载rocketmq安装包： cd /opt/soft # 下载二进制安装包 wget https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip # 如果没有安装 unzi 阅读全文

摘要： 1、功能 支持事务消息 顺序消费 kafka 实现顺序， 批量消息 定时消息 消息回溯 2、概念 gruop、topic、queue 3、系统组成 Producer Consumer Broker NameSever，类似于zookeeper，做注册中心用。 Producer：rocketmq提供多 阅读全文

摘要： Apache Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。 Apache Kafka特性之一是它的复制协议。对于单个集群中每个Broker不同工作负载情况下，如何自动调优Kafka副本的工作方式是比较有挑战的。它的挑战之一是要知 阅读全文

摘要： 名词解释 要想说明白kafka的HA机制，我们必须先搞明白几个缩写名词， 1、AR、ISR、OSR AR：Assigned Replicas，某分区的所有副本（这里所说的副本包括leader和follower）统称为 AR。 ISR：In Sync Replicas，所有与leader副本保持"一定 阅读全文

摘要： kafka offset 的存储 老的方式： 小于 0.9版本 存在 zookeeper 大于 0.9版本 kafka本身，需要做第一次消费，kafka会在内部维护一个__comsumer_offset 的topic 因为kafka设计的时候向下兼容，高版本的client api适配了低版本。 /c 阅读全文