随笔分类 - distributed system
摘要：系统的性能主要看吞吐量和响应时间（时延），且是针对成功的请求而言的（请求失败了还谈其吞吐量或时延有何意义） 系统的性能如果只看吞吐量，不看响应时间是没有意义的。比如系统每秒可以顶10万请求，但是响应时间已经到了5秒钟，这样的系统已经不可用了，这样的吞吐量也是没有意义的。 吞吐量并不是越高越好，因为随
阅读全文
摘要：本文为文章《两地三中心数据中心和同城双活数据中心的区别？》的阅后简单备忘总结。 虽实际中可能不会从事与该话题直接相关的技术工作，但其背后的的技术原理是相同的。 以下为总结 城市级别的系统容灾建设方案，包括 主从副本、同城灾备、同城双活、两地三中心（伪异地双活）、异地双活、异地多活 等。 所谓城市级别
阅读全文
摘要：如果有人说分布式系统不难，很可能是他还不知道自己不知道。分布式系统是十分复杂的，实现一个分布式系统要解决的问题很多，因此对分布式系统要心存敬畏。。 个人经验总结 分布式系统的类型 离线分布式系统，一般与线上业务无关，如批处理，大数据分析平台等。 软实时分布式系统，宕机几分钟或几个小时不影响线上业务，
阅读全文
摘要：是什么 Lease（意为约定、承诺）机制是分布式系统中的一个非常重要的机制，用于确保数据或状态的一致性，它应用非常广泛，是Paxos等一致性算法的基础之一。 （虽可借助Paxos、Raft等算法来实现数据一致性，但Lease机制是这些算法的原理之一，是更细粒度的“牛刀”）。 核心思想 承诺方向被承诺
阅读全文
摘要：单机系统或分布式系统中数据可靠性都是通过数据冗余存储来实现的（两者本质上一样），其中多副本方案、纠删码方案是最常见的两种冗余技术（本质上前者是后者的特例）。 本文通俗易懂地介绍纠删码的原理（Erasure-Code，EC算法）、实现。详见文章 “EC算法、EC实现、EC优化”。 关键词：数据可靠性、
阅读全文
摘要：参阅：https://www.cnblogs.com/xybaby/p/10124083.html 可视化：http://thesecretlivesofdata.com/raft/
阅读全文
摘要：1 为什么要有分布式锁 服务通常部署多个节点，一个前端请求会被随机发到其中一个节点上去执行。 在并发场景下可能会有问题，比如管理员在管理端页面创建一个学生账号的场景：在页面填好学生信息后，连续快速多次点提交按钮，可能会导致多个请求发往不同节点去分别处理从而创建了多个信息一样的账号。即使页面做了防止重
阅读全文
摘要：CAP原理指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。因此在进行分布式架构设计时，必须做出取舍。而对于分布式数据系统，分区容忍性是基本要求，否则就失去了价值。因此设计分布式数据系统，就是在一致性和可用性之间取一个平衡。对于大多数web应用，其实并不需要强一致性，因此牺牲一致性而换取高可用
阅读全文
摘要：总结： CAP指的是数据的一致性、系统的可用性、分区容错性；（这里的一致性指的是强一致性，又叫原子性或线性一致性；可用性指的是系统所有读写操作都要能终止，但没有时延上的要求） 分布式系统中P是必选项；在P必选的前提下，工程实践中一致性有不同程度，可用性也有不同等级，在保证分区容错性的前提下，放宽约束
阅读全文
摘要：HBase 架构跟笔者读研时做的分布式索引系统非常像，再一次体会到万变不离其宗！ 以下为简单总结。 HDFS是个分布式文件系统，HBase本质是个数据分区管理系统，主要作用是管理数据分区，数据最终存到HDFS上。（你的分布式索引系统也是个数据分区管理系统） 功能上的主要概念：RowKey, Colu
阅读全文
摘要：一致性Hash算法，用于解决分布式系统中数据分布的问题，做到均匀分布又在节点增减时少移动数据。 这里的“一致”是指节点增减前后已有数据的存储位置尽可能“一致”，即节点增减后原来节点上的数据尽可能不用移动。可见，与通常中“客户端缓存的数据与服务端的一致（例如Lease机制）”中的“一致”有区别。 一致
阅读全文
摘要：ACID CAP BASE 分布式事务 强一致性：XA，2PC、3PC、Paxos、Raft Seata，AT、TCC、SAGA、 20220223 empty all. 来自 “蘑菇先生” http://www.cnblogs.com/mushroom/p/4959904.html#3307078
阅读全文