博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

文章分类 -  分布式

摘要:ZooKeeper client 可以对某个znode设置watcher,以便当节点发生变化时,client能够获得相应的Event通知。若不设置watcher,则不能收到通知。 以ZooKeeper的C Client为例,可以在调用以下3个函数,get某个节点的数据或状态时,同时设置watcher 阅读全文

posted @ 2021-03-31 14:44 bw_0927 阅读(393) 评论(0) 推荐(0)

摘要:ZooKeeper的强一致性,能够保证在分布式高并发情况下节点创建的全局唯一性,即:同时有多个客户端请求创建 /currentMaster 节点,最终一定只有一个客户端请求能够创建成功。 ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环 阅读全文

posted @ 2021-03-31 11:33 bw_0927 阅读(249) 评论(0) 推荐(0)

摘要:https://www.cnblogs.com/leeSmall/p/9611041.html 一、服务器角色 1. Leader 1)事务请求的唯一调度者和处理者。保证事务处理的顺序性。 事务请求:导致数据一致性的请求【写请求】(数据发生改变)。如删除一个节点、创建一个节点、设置节点数据,设置节点 阅读全文

posted @ 2021-03-31 11:19 bw_0927 阅读(153) 评论(0) 推荐(0)

摘要:https://www.cnblogs.com/leeSmall/p/9600959.html 1. master选举原理: 有多个master,每次只能有一个master负责主要的工作,其他的master作为备份,同时对负责工作的master进行监听,一旦负责工作的master挂掉了,其他的mas 阅读全文

posted @ 2021-03-31 11:11 bw_0927 阅读(71) 评论(0) 推荐(0)

摘要:https://www.modb.pro/db/12798 1. 异地多活介绍 异地多活在近年越来越多大型互联网公司采用的方案,几乎也是大型应用发展到一定阶段的必然选择,综合比较一下各个互联网公司的方案,会发现有很多共性的东西,也有很多差异化的东西。 1.1 什么是异地多活 异地多活一般是指在不同城 阅读全文

posted @ 2020-05-11 11:02 bw_0927 阅读(266) 评论(0) 推荐(0)

摘要:分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。 集群主要分为:高可用集群(High Availability Cluster),负载均衡集群(Load Balance Cluster,nginx即可实现),科学计算集群(High Performan 阅读全文

posted @ 2020-04-30 10:39 bw_0927 阅读(278) 评论(0) 推荐(0)

摘要:一、分布式系统的经典基础理论 1、分布式系统设计的两大思路:中心化和去中心化 中心化:中心化的设计思想在自然界和人类生活中是如此的普遍和自然,它的设计思想也很简单,分布式集群中的节点按照角色分工,可以分为两种角色--“领导”和“干活的”,中心化的一个思路就是“领导”通常分发任务并监督“干活的”,谁空 阅读全文

posted @ 2020-04-05 17:09 bw_0927 阅读(131) 评论(0) 推荐(0)

摘要:问题来源:创建一个游戏系统,其将运行在互联网的环境中。客户端通过WWW服务或特定的客户端软件连接到游戏服务器,随着流量的增加,系统不断的膨胀,最终后台数据、业务逻辑被分布式的部署。然而相比中心化的系统,复杂度被无可避免的增大了,该如何降低各个组件之间的耦合度。 挑战:需要保证可伸缩性、可维护性、可更 阅读全文

posted @ 2019-06-14 17:52 bw_0927 阅读(174) 评论(0) 推荐(0)

摘要:https://www.cnblogs.com/my_life/articles/7049528.html http://sanyuesha.co 简单来讲,锁是用来控制多线程执行对资源的并发访问的。比如当一个资源只允许在任意时刻只有一个执行线程对其进行写操作,那当其他线程要访问资源时,就必须要检查 阅读全文

posted @ 2018-07-03 17:09 bw_0927 阅读(110) 评论(0) 推荐(0)

摘要:https://www.cnblogs.com/weidagang2046/archive/2011/06/04/idempotence.html https://www.jianshu.com/p/475589f5cd7b 一个幂等的操作典型如:把编号为5的记录的A字段设置为0 这种操作不管执行多 阅读全文

posted @ 2018-04-19 17:05 bw_0927 阅读(231) 评论(0) 推荐(0)

摘要:http://blog.csdn.net/chszs/article/details/46592777 http://nikipore.github.io/stompest/ https://stomp.github.io/stomp-specification-1.1.html#Heart-bea 阅读全文

posted @ 2017-06-13 16:49 bw_0927 阅读(20434) 评论(0) 推荐(0)

摘要:http://www.ihowandwhy.com/z/%E6%B6%88%E6%81%AF%E4%BB%A3%E7%90%86%E4%B8%8ERPC%E6%A1%86%E6%9E%B6%E6%9C%89%E4%BB%80%E4%B9%88%E5%8C%BA%E5%88%AB%E5%92%8C%E 阅读全文

posted @ 2017-06-13 15:33 bw_0927 阅读(2612) 评论(0) 推荐(0)

摘要:RabbitMQ是一个AMQP实现,传统的messaging queue系统实现,基于Erlang。老牌MQ产品了。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量还在其次。Kafka是linkedin开源的MQ系统,主要特点是基于Pull的模式来处理消息消 阅读全文

posted @ 2017-06-13 15:18 bw_0927 阅读(3889) 评论(0) 推荐(0)

摘要:https://blog.goquxiao.com/posts/2016/01/01/cdn-note/ 2015年,也花了半年左右的时间用于研究、开发、维护公司的静态CDN系统了,自己也从对CDN系统一无所知、客户带宽只有几MB的规模,到最终全国客户带宽到了几十GB的规模。回顾整个过程,真算是对自 阅读全文

posted @ 2017-02-14 16:20 bw_0927 阅读(3663) 评论(0) 推荐(2)

摘要:http://www.ccvita.com/419.html http://blog.csdn.net/xtjsxtj/article/category/1745977 对于绝大多数发展中等的web 2.0网站来说,LAMP结构已经不能满足现在的需要了,新的架构组合是GLAMMP,G=Gearman 阅读全文

posted @ 2016-05-21 21:32 bw_0927 阅读(232) 评论(0) 推荐(0)

摘要:http://blog.chinaunix.net/uid-23093301-id-90459.html http://www.cnblogs.com/zhiranok/archive/2012/07/30/fflib_framework.html http://www.cnblogs.com/zh 阅读全文

posted @ 2016-04-11 15:57 bw_0927 阅读(214) 评论(0) 推荐(0)

摘要:http://www.cnblogs.com/zhiranok/archive/2012/07/30/fflib_framework.html http://blog.chinaunix.net/uid-23093301-id-190969.html https://msdn.microsoft.c 阅读全文

posted @ 2016-04-11 15:34 bw_0927 阅读(164) 评论(0) 推荐(0)

摘要:https://yq.aliyun.com/articles/5859?spm=0.0.0.0.oNzivv This post is a simple outline about some basic(really basic) ideas behind distributed systems a 阅读全文

posted @ 2016-03-24 13:22 bw_0927 阅读(252) 评论(0) 推荐(0)

摘要:Actors模型首先是由Carl Hewitt在1973定义, 由Erlang OTP (Open Telecom Platform) 推广,其 消息传递更加符合面向对象的原始意图。 传统多数流行的语言并发是基于多线程之间的共享内存,使用同步方法防止写争夺,Actors使用消息模型(邮箱,消息队列) 阅读全文

posted @ 2016-03-21 11:14 bw_0927 阅读(1875) 评论(0) 推荐(0)

摘要:http://oldratlee.com/post/2013-02-01/synchronous-rpc-vs-asynchronous-message/ 简单说一下两者的区别。 系统结构 RPC系统结构: +----------+ +----------+ | Consumer | <=> | P 阅读全文

posted @ 2016-03-09 12:15 bw_0927 阅读(531) 评论(0) 推荐(0)