摘要: 在产业互联网火爆的当下,在BATJ等互联网大厂大肆推广中台建设成果的当下,各个行业的企业似乎都想做数字化转型,建设业务中台,但是中台到底是啥,需要我们提前了解和学习,本文就是我的学习总结,希望能对你初步的理解中台这个概念有所帮助。 一、学习背景 所谓的中台战略,还是停留在感性层次,只会说出几次消除烟 阅读全文
posted @ 2020-04-08 10:32 怡情养性长智 阅读(433) 评论(0) 推荐(0) 编辑
摘要: 消息队列中的“事务”,主要解决的是消息生产者和消息消费者的数据一致性问题 那什么是事务呢?如果我们需要对若干数据进行更新操作,为了保证这些数据的完整性和一致性,我们希望这些更新操作要么都成功,要么都失败 消息队列是如何实现分布式事务的? 事务消息 首先,订单系统在消息队列上开启一个事务。然后订单系统 阅读全文
posted @ 2020-06-15 11:01 怡情养性长智 阅读(187) 评论(0) 推荐(0) 编辑
摘要: 早期的消息队列,就是按照“队列”的数据结构来设计的 发布 - 订阅模型 在发布 - 订阅模型中,消息的发送方称为发布者(Publisher),消息的接收方称为订阅者(Subscriber),服务端存放消息的容器称为主题(Topic) 发布者将消息发送到主题中,订阅者在接收消息之前需要先“订阅主题” 阅读全文
posted @ 2020-06-10 11:21 怡情养性长智 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 选择消息队列产品的基本标准 消息的可靠传递:确保不丢消息; Cluster:支持集群,确保不会因为某个节点宕机导致服务不可用,当然也不能丢消息; 性能:具备足够好的性能,能满足绝大多数场景的性能要求。 1. RabbitMQ——轻量级,开箱即用 Erlang 语言编写的,它最早是为电信行业系统之间的 阅读全文
posted @ 2020-06-09 17:14 怡情养性长智 阅读(232) 评论(0) 推荐(1) 编辑
摘要: 哪些问题适合使用消息队列来解决? 1. 异步处理 秒杀系统,需要消息队列 秒杀系统需要解决的核心问题是,如何利用有限的服务器资源,尽可能多地处理短时间内的海量请求 对于这 5 个步骤来说,当服务端完成前面 2 个步骤,确定本次请求的秒杀结果后,就可以马上给用户返回响应,然后把请求的数据放入消息队列中 阅读全文
posted @ 2020-06-08 14:42 怡情养性长智 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 哪些人适合学消息队列? 后端开发者: 消息队列几乎是每个后端程序员都会用到的中间件 无论你是开发微服务,实时计算,还是机器学习程序,都需要解决进程间通信的问题。 渴望技术提升的开发者: 消息队列所涉及的高性能通信、海量数据存储、高并发这些底层的技术比较全面 并且功能简洁、结构清晰,容易入门但又同时具 阅读全文
posted @ 2020-06-08 10:48 怡情养性长智 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 在使用消息队列的过程中,你会遇到很多问题 比如选择哪款消息队列更适合你的业务系统? 如何保证系统的高可靠、高可用和高性能? 如何保证消息不重复、不丢失? 如何做到水平扩展? 从职业发展,保持市场竞争力的角度来看 掌握一些底层技术,深耕个人技术栈的深度,实现从“用轮子”到“造轮子”的技术提升,也是一个 阅读全文
posted @ 2020-06-08 10:17 怡情养性长智 阅读(230) 评论(0) 推荐(0) 编辑
摘要: 消费者组的重平衡流程 它的作用是让组内所有的消费者实例就消费哪些主题分区达成一致 在 Coordinator 的帮助下完成整个消费者组的分区重分配 重平衡的 3 个触发条件: 1、组成员数量发生变化。 2、订阅主题数量发生变化。 3、订阅主题的分区数发生变化 在实际生产环境中,因命中第 1 个条件而 阅读全文
posted @ 2020-06-01 14:30 怡情养性长智 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 无论是 Kafka 客户端还是 Broker 端,它们之间的交互都是通过“请求 / 响应”的方式完成的 Apache Kafka 自己定义了一组请求协议,用于实现各种各样的交互操作 比如常见的 PRODUCE 请求是用于生产消息的,FETCH 请求是用于消费消息的,METADATA 请求是用于请求 阅读全文
posted @ 2020-05-29 11:06 怡情养性长智 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝 1、提供数据冗余。即使系统部分组件失效,系统依然能够继续运转,因而增加了整体可用性以及数据持久性。 2、提供高伸缩性。支持横向扩展,能够通过增加机器的方式来提升读性能,进而提 阅读全文
posted @ 2020-05-27 14:28 怡情养性长智 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 对于 Kafka 消费者来说,最重要的事情就是监控它们的消费进度了,或者说是监控它们消费的滞后程度 这个滞后程度有个专门的名称:消费者 Lag 所谓滞后程度,就是指消费者当前落后于生产者的程度 Lag 的单位是消息数,而且我们一般是在主题这个级别上讨论 Lag 的 但实际上,Kafka 监控 Lag 阅读全文
posted @ 2020-05-27 09:27 怡情养性长智 阅读(851) 评论(0) 推荐(0) 编辑