行远自迩 登高自卑

摘要： Raft 剖析收官之战_日志压缩与 Snapshot (快照) 机制 导语: 在前面五篇文章中, 我们构建了一个堪称完美的分布式强一致性系统. 但如果把这个系统直接推向生产环境, 用不了几个月它就会崩溃. 原因极其简单粗暴: 磁盘被撑爆了. Raft 的核心机制是“日志流”, 随着时间推移, 日志只 阅读全文

摘要： MIT_65840 测试网络环境的搭建与实现 MIT 6.5840 的实验代码把真实网络通信细节封装了起来, 让我们把注意力集中在分布式算法本身. 但从调试和理解整个测试框架的角度看, 测试环境是如何搭起来的同样非常重要. 一开始我只关注了 src/labrpc 中的 RPC、Network、Ser 阅读全文

摘要： Raft 剖析终篇_运行中的跑车换轮胎, 动态成员变更与联合共识 导语: 在前面的四篇文章中, 我们所有的推演都有一个潜在的假设:集群的节点数量和名单是固定不变的. 但在真实的工业环境中, 机器会老化报废、业务会突增需要扩容. 我们需要一种机制, 能在不停机、不影响外部服务的前提下, 将集群从 3 阅读全文

摘要： Raft 深水区探秘_经典极端场景与 Raft 的完美解法 导语: 在前面的文章中, 我们看到 Raft 是如何在 Leader 宕机时力挽狂澜的. 但是, 现实世界往往比单纯的宕机要复杂得多: 网络可能会被切断一半、节点可能会不断重启、甚至会出现跨越好几个任期的"幽灵日志". 今天, 我们将走进 阅读全文

摘要： 导语: 在上一篇中, 我们拆解了 Raft 的核心组件和节点状态. 但静态的结构无法体现分布式系统的魅力, 今天我们要让这些齿轮转动起来. 在 Raft 的世界里, 系统大部分时间都处于"太平盛世"(正常承接请求), 此时的核心任务是日志复制; 而一旦"国王驾崩"(Leader 宕机), 系统就会进 阅读全文

摘要： 导语: 在上一篇《Raft 引言》中, 我们站在上帝视角俯瞰了复制式状态机(RSM)和集群交互的宏观轮廓. 今天, 我们将视线拉近, 正式拆解 Raft 算法的引擎盖. 如果你打算自己动手写一个分布式的 KV 存储, 或者去阅读 etcd/TiKV 的源码, 本篇涉及的所有概念、状态和循环机制, 将 阅读全文

摘要： Raft 核心原理与工程实践 —— 开篇:分布式共识的本质与 Raft 引言 导语: 在现代后端架构中, 只要涉及到高可用和强一致性, 我们总是绕不开一个词:共识(Consensus). 提到共识, 很多人立刻会想到晦涩难懂的 Paxos. 如果说 Paxos 是分布式共识领域的"相对论", 那么 阅读全文

摘要： MIT 6.5840 Lab2: KV Server 与分布式锁的实现笔记 本次实验分为三个渐进的步骤: 首先是在内存中构建一个基于 RPC 通信的 KV Server; 其次是利用这个 KV Server 实现一个简单的分布式锁; 最后也是最具挑战性的一环, 是在模拟网络不稳定 (存在丢包、乱序、 阅读全文

摘要： MIT_65840测试网络环境的搭建与实现 由于 MIT_65840 实际上实现的大部分是分布式算法相关的内容, 或者更加关注 Client 和 Server 的操作, 因此透明化了 Client 和 Server 之间的通信, 分布式系统中 Client 和 Server 通常使用 RPC 的方式 阅读全文

摘要： 论文 The Design of a Practical System for Fault-Tolerant Virtual Machines MIT 6.5840 的第二节课讲到了高可用的问题, 高可用是一些生产系统中的重要保障, 当客户端请求的机器发生故障的时候, 如何避免客户的请求失败, 请求 阅读全文