随笔分类 -  一致性协议

etcd raft如何实现成员变更
摘要：成员变更在一致性协议里稍复杂一些，由于不同的成员不可能在同一时刻从旧成员组切换至新成员组，所以可能出现两个不相交的majority，从而导致同一个term出现两个leader，进而导致同一个index的日志不一致，违反一致性协议。下图是个例子： raft作者提出了一种比较简单的方法，一次只增加或减少 阅读全文
posted @ 2017-07-16 15:23 吴镝 阅读(1930) 评论(0) 推荐(0)
etcd raft如何实现leadership transfer
摘要：leadership transfer可以把raft group中的leader身份转给其中一个follower。这个功能可以用来做负载均衡，比如可以把leader放在性能更好的机器或者离客户端更近的机器上。 对于一个大规模分布式系统来说，负载均衡非常重要。然而raft本身在选主方面必须要求新主包含 阅读全文
posted @ 2017-07-14 23:32 吴镝 阅读(1083) 评论(0) 推荐(0)
etcd raft如何实现Linearizable Read
摘要：Linearizable Read通俗来讲，就是读请求需要读到最新的已经commit的数据，不会读到老数据。 对于使用raft协议来保证多副本强一致的系统中，读写请求都可以通过走一次raft协议来满足。然后，现实系统中，读请求通常会占很大比重，如果每次读请求都要走一次raft落盘，性能可想而知。所以 阅读全文
posted @ 2017-07-13 17:56 吴镝 阅读(4247) 评论(0) 推荐(0)
etcd raft library设计原理和使用
摘要：早在2013年11月份，在raft论文还只能在网上下载到草稿版时，我曾经写过一篇 "blog" 对其进行简要分析。4年过去了，各种raft协议的讲解铺天盖地，raft也确实得到了广泛的应用。其中最知名的应用莫过于etcd。etcd将raft协议本身实现为一个library，位于https://git 阅读全文
posted @ 2017-07-08 17:33 吴镝 阅读(2040) 评论(0) 推荐(0)
详解CockroachDB事务处理系统
摘要：本文提到的一些术语，比如Serializability和Linearizability，解释看Linearizability, Serializability and Strict Serializability。 本文中观点大部分都是参考了CockroachDB多篇官方blog,设计文档，代码以及 阅读全文
posted @ 2017-05-21 17:18 吴镝 阅读(4331) 评论(0) 推荐(0)
使用multi-paxos实现日志同步应用
摘要：paxos 说multi paxos之前先简要说一下paxos paxos是在多个成员之间对某个值(提议)达成一致的一致性协议。这个值可以是任何东西。比如多个成员之间进行选主，那么这个值就是主的身份。在把multi paxos协议应用在日志同步中时，这个值就是一条日志。网上讲paxos的文章已经很多 阅读全文
posted @ 2016-05-12 21:59 吴镝 阅读(7259) 评论(2) 推荐(2)
分布式存储系统事务时序
摘要：今天谈谈分布式事务的时序问题。在说这个问题之前首先说说这为什么是个问题。####单机场景对于数据库来说，读到已经commit的数据是最基本的要求。一般来说，为了性能，读写不互相阻塞，现在的数据库系统(Oracle，MySQL，OceanBase，Spanner，CockRoachDB,HBase)几... 阅读全文
posted @ 2015-03-30 19:24 吴镝 阅读(5513) 评论(0) 推荐(1)
Google的分布式关系型数据库F1和Spanner
摘要：F1是Google开发的分布式关系型数据库，主要服务于Google的广告系统。Google的广告系统以前使用MySQL，广告系统的用户经常需要使用复杂的query和join操作，这就需要设计shard规则时格外注意，尽量将相关数据shard到同一台MySQL上。扩容时对数据reshard时也需要尽量... 阅读全文
posted @ 2015-03-25 19:30 吴镝 阅读(18312) 评论(0) 推荐(0)
分布式事务实现-Spanner
摘要：Spanner要满足的external consistency是指：后开始的事务一定可以看到先提交的事务的修改。所有事务的读写都加锁可以解决这个问题，缺点是性能较差。特别是对于一些workload中只读事务占比较大的系统来说不可接受。为了让只读事务不加任何锁，需要引入多版本。在单机系统中，维护一个递 阅读全文
posted @ 2014-07-25 21:41 吴镝 阅读(15828) 评论(3) 推荐(1)
Paxos可容错的一致性协议
摘要：一致性问题要求多个process对一个值达成一致。基于消息传递的分布式系统中，在不考虑消息篡改等拜占庭错误的情况下，Paxos可以解决在进程退出，消息延迟，丢失，重复等异常发生的环境中对某个值达成一致的问题。考虑Paxos最基本的形式：两个角色：Proposer和Acceptor，Proposer提... 阅读全文
posted @ 2014-01-19 11:36 吴镝 阅读(2259) 评论(1) 推荐(0)
Raft一致性协议
摘要：分布式存储系统通常通过维护多个副本来进行fault-tolerance，提高系统的availability，带来的代价就是分布式存储系统的核心问题之一：维护多个副本的一致性。一致性协议就是用来干这事的，即使在部分副本宕机的情况下。Raft是一种较容易理解的一致性协议。一致性协议通常基于replica... 阅读全文
posted @ 2013-11-11 22:20 吴镝 阅读(19672) 评论(2) 推荐(4)