随笔分类 - Distributed-分布式系统
分布式系统的相关问题。高并发的分布式系统
摘要：1 kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用， 因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。 不可能越过Zookeeper直接联系Kafka broker，一旦Zookeeper停止工作，它
阅读全文
摘要：Kafka 到底会不会丢数据呢？如果丢数据，究竟该怎么解决呢？ 总结 Kafka要严格意义上保证消息不丢失，需要从三个方面来设置， 第一个服务器端持久化设置为同步刷盘、第二个生产者设置为同步投递，第三个消费端设置为手动提交。 1、解决思路 首先第一个是服务器端。设置broker中的配置项unclea
阅读全文
摘要：一、普通 hash 算法 (取模算法)： 在了解一致性哈希算法之前，我们先了解一下缓存中的一个应用场景，了解了这个应用场景之后，再来理解一致性哈希算法，就容易多了，也更能体现出一致性哈希算法的优点，那么，我们先来描述一下这个经典的分布式缓存的应用场景。 1、普通 hash算法 与 使用场景描述： 假
阅读全文
摘要：zab协议为什么只保证超过一半的机器保持数据同步？这样有什么好处，会造成什么影响，还有剩下的没保证同步的机器，后来是怎么重新进入数据同步状态的？paxos也有类似的问题 举个例子。假设一个集群系统中就存储着一条数据（比如这条数据代表所有人支付宝的总额，所有人都秉承共产主义理念往这个账户里存钱取钱）。
阅读全文
摘要：ZooKeeper是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能 ZooKeeper致力于提供一个高性能、高可用，具有严格的顺序访问控制能力（主要是写操作的严格顺序性
阅读全文
摘要：操作系统内的并发执行进程可以是独立的也可以是协作的： 如果一个进程不能影响其他进程或受其他进程影响，那么该进程是独立的，换句话说，不与任何其他进程共享数据的进程是独立的； 如果一个进程能影响其他进程或受其他进程所影响，那么该进程是协作的。换句话说，与其他进程共享数据的进程为协作进程。 提供环境允许进
阅读全文
摘要：1、背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一，其解决的问题就是在分布式系统中如何就某个值（决议）达成一致。 在常见的分布式系统中，总会发生诸如机器宕机或网络异常（包括消息的延迟、丢失、重复、乱序，还有网络分区）(也就是会发生异
阅读全文
摘要：在一个分布式系统中，由于节点故障、网络延迟等各种原因，根据CAP理论，我们只能保证一致性（Consistency）、可用性（Availability）、分区容错性（Partition Tolerance）中的两个。 对于一致性要求高的系统，比如银行取款机，就会选择牺牲可用性，故障时拒绝服务。Mong
阅读全文
摘要：1、背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一，其解决的问题就是在分布式系统中如何就某个值（决议）达成一致。 在常见的分布式系统中，总会发生诸如机器宕机或网络异常（包括消息的延迟、丢失、重复、乱序，还有网络分区）(也就是会发生异
阅读全文
摘要：小编：记得关注哦 来源：区块链大本营 作者 | Yu Liebing 责编 | Carol 出品 | 区块链大本营（ID：blockchain_camp） 拜占庭将军问题(The Byzantine Generals Problem)提供了对分布式共识问题的一种情景化描述，由Leslie Lampo
阅读全文
摘要：拜占庭将军问题是由 Paxos 算法作者莱斯利·兰伯特提出的点对点通信中的基本问题。 该问题要说明的含义是，在不可靠信道上试图通过消息传递的方式达到一致性是不可能的。 所以，Paxos 算法的前提是不存在拜占庭将军问题，即信道是安全的、可靠的， 集群节点间传递的消息是不会被篡改的。 一般情况下，分布
阅读全文
摘要：CAP定理 在分布式系统中，一致性、可用性、分区容错性最多只能同时实现两点。一致性，分布式系统所有数据备份是否相同。可用性，收到用户的请求，在时限内服务器必须给出明确的回应。分区容错性：大多数分布式系统都分布在多个子网络，每个子网络就叫做一个区。分区容错指分区间通信可能失败，比如，一台服务器放在中国
阅读全文
摘要：拜占庭将军问题很多人可能听过，但不知道是什么意思，本文从非专业的角度来讲讲，拜占庭将军问题到底是说什么的。 拜占庭将军问题（Byzantine Generals Problem），首先由Leslie Lamport与另外两人在1982年提出，很简单的故事模型，却困扰了计算机科学家们数十年。 故事大概
阅读全文
摘要：拜占庭将军问题很多人可能听过，但不知道是什么意思，今天金猫kinmall就让你三分钟看懂区块链智慧是如何解决拜占庭将军问题的。故事大概是这么说的：拜占庭帝国即中世纪的土耳其，拥有巨大的财富，周围10个邻邦垂诞已久，但拜占庭高墙耸立，固若金汤，没有一个单独的邻邦能够成功入侵。任何单个邻邦入侵的都会失败
阅读全文
摘要：提到ZAB，恐怕大家第一时间就会想到Zookeeper，然后由Zookeeper又会联想到Paxos。这之间的联系是不是因为有本畅销书叫《从Paxos到Zookeeper分布式一致性原理与实践》，使得大家常常把Zookeeper和Paxos关联起来，毕竟“买了就是读了”，开个玩笑，ZAB和Paxos
阅读全文
摘要：在一个分布式系统中，由于节点故障、网络延迟等各种原因，根据CAP理论，我们只能保证一致性（Consistency）、可用性（Availability）、分区容错性（Partition Tolerance）中的两个。 对于一致性要求高的系统，比如银行取款机，就会选择牺牲可用性，故障时拒绝服务。Mong
阅读全文
摘要：Paxos算法是莱斯利·兰伯特(Leslie Lamport, 就是 LaTeX 中的"La")于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法.Paxos算法作为分布式系统的基石, 一直都是CS领域的热门话题, 这次我们来了解一下Paxos算法. Paxos算法初步 一. Paxo
阅读全文
摘要：维基的简介：Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。 Paxos算法目前在Google的Chubby、MegaStore、Spanner等系统中得到了应用，H
阅读全文
摘要：最近跟朋友聊起这个话题,想深入了解下,于是学习总结,记录下来,此文章参考以下博客综合而来表示感谢: 参考：分布式系统接口幂等性 参考：高并发的核心技术-幂等的实现方案 参考：什么是分布式系统中的幂等性 1. 接口调用存在的问题 现如今我们的系统大多拆分为分布式SOA，或者微服务，一套系统中包含了多个
阅读全文
浙公网安备 33010602011771号