随笔分类 -  消息队列技术

RabbitMQ 3.7.9版本中，Create Channel超时的常见原因及排查方法
摘要：在RabbitMQ 3.7.9版本中，Create Channel超时的常见原因及排查方法如下： 常见原因 网络问题： 网络延迟或不稳定可能导致通信超时。 网络分区（network partition）可能导致部分节点无法访问。 资源限制： RabbitMQ服务器上的文件描述符或句柄数量限制。 服务 阅读全文
posted @ 2024-06-30 10:15 Eric zhou 阅读(647) 评论(0) 推荐(2)
Redis介绍、使用、数据结构和集群模式总结
摘要：Redis（Remote Dictionary Server）是一个开源的，基于内存的数据结构存储系统，它支持多种数据结构，如字符串（String）、列表（List）、集合（Set）、有序集合（Sorted Set）、散列（Hash）等。Redis不仅可以用作数据库、缓存和消息代理，还可以通过复制、 阅读全文
posted @ 2024-04-21 09:30 Eric zhou 阅读(301) 评论(0) 推荐(0)
RabbitMQ集群运维实践
摘要：一、RabbitMQ的集群模式 主要有两种：普通集群模式和镜像队列模式。下面分别介绍这两种模式的原理： 1.普通集群模式： 在普通集群模式下，RabbitMQ的集群节点之间主要同步元数据，而不同步存储的消息数据。这意味着消息本身只存储在创建该消息队列的节点上，其他节点只保留队列的元数据信息和指向该队 阅读全文
posted @ 2024-03-19 20:39 Eric zhou 阅读(874) 评论(0) 推荐(2)
Kafka主从模式和故障切换
摘要：Kafka集群有主从模式吗？ Kafka集群实际上并没有严格意义上的主从模式。Kafka的设计是基于分布式的，每个Topic都会切分为多个Partition，每个Partition都有一个Leader和多个Follower。 所有的读写操作都是通过Leader来进行的，Follower则负责从Lea 阅读全文
posted @ 2023-07-29 17:14 Eric zhou 阅读(2677) 评论(0) 推荐(2)
Kafka基本知识整理
摘要：首先Kafka是一个分布式消息队列中间件，Apache顶级项目，https://kafka.apache.org/ 高性能、持久化、多副本备份、横向扩展。 生产者Producer往队列里发送消息，消费者Consumer从队列里消费消息，然后进行业务逻辑。应用场景主要有：解耦、削峰（缓冲）、异步处理、 阅读全文
posted @ 2019-05-04 15:53 Eric zhou 阅读(2207) 评论(0) 推荐(1)
Azure上搭建ActiveMQ集群-基于ZooKeeper配置ActiveMQ高可用性集群
摘要：ActiveMQ从5.9.0版本开始，集群实现方式取消了传统的Master-Slave方式，增加了基于ZooKeeper+LevelDB的实现方式。 本文主要介绍了在Windows环境下配置基于ZooKeeper的ActiveMQ高可用性集群，集群实现了主备功能，实现了单点故障时的高可用性，并不涉及 阅读全文
posted @ 2019-03-14 09:12 Eric zhou 阅读(526) 评论(0) 推荐(0)
统一流控服务开源-1：场景&业界做法&算法篇
摘要：最近团队在搞流量安全控制，为了应对不断增大的流量安全风险。Waf防护能做一下接入端的拦截，但是实际流量会打到整个分布式系统的每一环：Nginx、API网关、RPC服务、MQ消息应用中心、数据库。瞬间的大流量对系统的整体的冲击还是很大的，一些连锁反应时刻刺激着我们的神经！所以，我们要设计开发我们自己的 阅读全文
posted @ 2018-05-16 09:10 Eric zhou 阅读(3577) 评论(3) 推荐(5)
再谈消息队列技术
摘要：上周，我们举办了第二届技术沙龙，我这边主要演讲了消息队列技术的议题，现分享给大家： 在我们团队内部，随着消息应用中心（任务中心）的广泛应用，有时候我们感觉不到消息队列的存在，但这不影响消息队列在高可用、分布式、高并发架构下的核心地位。 消息队列都应用到了哪些实际的应用场景中？ 一、再谈消息队列的应用 阅读全文
posted @ 2017-07-03 12:01 Eric zhou 阅读(35173) 评论(7) 推荐(19)
Azure IoT Hub和Event Hub相关的技术系列-索引篇
摘要：Azure IoT Hub和Event Hub相关的技术系列，最近已经整理了不少了，统一做一个索引链接，置顶。 Azure IoT 技术研究系列1-入门篇 Azure IoT 技术研究系列2-设备注册到Azure IoT Hub Azure IoT 技术研究系列3-设备到云、云到设备通信 Azure 阅读全文
posted @ 2017-05-24 09:05 Eric zhou 阅读(1262) 评论(1) 推荐(1)
Azure Messaging-ServiceBus Messaging消息队列技术系列-索引篇
摘要：Azure Messaging ServiceBus Messaging相关的技术系列，最近已经整理了不少了，统一做一个索引链接，置顶。 方便查找，并后续陆陆续续再增加。 学习消息队列技术，可以先看第一篇技术概念篇，方便大家快速入门： 消息队列技术之基本概念 Azure Messaging Serv 阅读全文
posted @ 2017-04-12 22:09 Eric zhou 阅读(1044) 评论(0) 推荐(2)
消息队列技术之基本概念
摘要：最近一直在总结Azure Messaging ServiceBus Messaging相关的技术：消息顺序、消息持久化、复杂对象消息的序列化、消息事务、消息回执等机制。 感觉有必要补充一篇消息队列技术的基本概念，无论RabbitMQ、ActiveMQ还是其他，都有的一些基本概念、术语、机制，分享给大 阅读全文
posted @ 2017-04-12 21:43 Eric zhou 阅读(9098) 评论(10) 推荐(8)
Azure Messaging-ServiceBus Messaging消息队列技术系列2-编程SDK入门
摘要：各位，上一篇基本概念和架构中，我们介绍了Window Azure ServiceBus的消息队列技术的概览。接下来，我们进入编程模式和详细功能介绍模式，一点一点把ServiceBus技术研究出来。 本章我们主要介绍ServiceBus的编程SDK编程入门。 首先，微软提供了两个主要的Nuget Pa 阅读全文
posted @ 2016-12-27 18:49 Eric zhou 阅读(1532) 评论(6) 推荐(1)
Azure Messaging-ServiceBus Messaging消息队列技术系列1-基本概念和架构
摘要：前段时间研究了Window Azure ServiceBus Messaging消息队列技术，搞了很多技术研究和代码验证，最近准备总结一下，分享给大家。 首先，Windows Azure提供了两种类型的消息队列机制：Azure Queues和ServiceBus Queues。 其中，Azure Q 阅读全文
posted @ 2016-09-19 12:41 Eric zhou 阅读(2092) 评论(1) 推荐(2)