摘要: 本文介绍Ubiq的架构,它是一个分布式系统,用于处理不断增长的日志文件,具有可扩展性、高可用、低延迟的特性。Ubiq框架容忍基础设施退化和数据中心级别的中断问题,无需人工干预。并且它支持exactly-once语义以将日志作为事件的集合进行处理。Ubiq已经应用于Google的广告系统多年,生产环境证明了机器资源的线性可扩展性,以及基础设置故障的情况下的高可用性和一分钟内的端到端的延迟。阅读全文
posted @ 2019-05-05 09:40 杭州.Mark 阅读(55) 评论(0) 编辑
摘要: 介绍Paxos协议的表决过程及一致性证明阅读全文
posted @ 2019-01-21 10:24 杭州.Mark 阅读(363) 评论(0) 编辑
摘要: 最近的考古发现表明,在Paxos小岛上,尽管兼职议会成员都有逍遥癖,但议会模式仍然起作用。他们依旧保持了一致的会议记录,尽管他们频繁的进出会议室并且他们的信使还很健忘。Paxon议会协议提供了一种新方法去实现设计分布式系统的状态机。阅读全文
posted @ 2019-01-03 09:26 杭州.Mark 阅读(620) 评论(0) 编辑
摘要: 本文讲述分布式系统中一致性问题的由来,并介绍几种一致性模型。阅读全文
posted @ 2018-11-05 08:47 杭州.Mark 阅读(1256) 评论(3) 编辑
摘要: “Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.” Pulsar是pub-sub模式的分布式消息平台,拥有灵活的消息模型和直观的客户端API。 Pulsar由雅虎开发并开源的下一代消息系统,目前是Apache软件基金会的孵化器项目。 本片文章简单介绍Pulsar的Consumer,包含以下内容:Consumer的体系、消费逻辑的实现阅读全文
posted @ 2018-10-09 09:42 杭州.Mark 阅读(828) 评论(0) 编辑
摘要: 本片文章简单介绍Pulsar的Producer,包含以下内容:Producer的设计、消息发送的实现阅读全文
posted @ 2018-09-10 08:39 杭州.Mark 阅读(501) 评论(0) 编辑
摘要: 这周RocketMQ发布了4.3.0版本,New Feature中最受关注的一点就是支持了事务消息。今天花了点时间看了下具体的实现内容,下面是简单的总结。阅读全文
posted @ 2018-08-07 09:49 杭州.Mark 阅读(3199) 评论(7) 编辑
摘要: 介绍Apache Pulsar的概念和架构,以及GEO-REPLICATION,之后对比RocketMQ。阅读全文
posted @ 2018-07-16 10:30 杭州.Mark 阅读(11518) 评论(0) 编辑
摘要: Kafka在0.10版本推出了Stream API,提供了对存储在Kafka内的数据进行流式处理和分析的能力。 本文将从流式计算出发,之后介绍Kafka Streams的特点,最后探究Kafka Streams的架构。阅读全文
posted @ 2018-06-11 10:11 杭州.Mark 阅读(499) 评论(1) 编辑
摘要: 介绍RocketMQ中顺序消息的实现机制阅读全文
posted @ 2018-05-21 08:54 杭州.Mark 阅读(6281) 评论(1) 编辑
摘要: 分析Raft的成员变更过程阅读全文
posted @ 2018-05-04 10:02 杭州.Mark 阅读(1213) 评论(0) 编辑
摘要: 分析Raft的安全性阅读全文
posted @ 2018-05-02 10:21 杭州.Mark 阅读(902) 评论(0) 编辑
摘要: 解读Raft协议的选举和日志复制阅读全文
posted @ 2018-04-28 09:43 杭州.Mark 阅读(1776) 评论(0) 编辑
摘要: 最近工作中讨论到了Raft协议相关的一些问题,正好之前读过多次Raft协议的那paper,所以趁着讨论做一次总结整理。 我会将Raft协议拆成四个部分去总结:算法基础、选举和日志复制、安全性、节点变更。 这是第一篇:《解读Raft(一 算法基础)》阅读全文
posted @ 2018-04-23 09:26 杭州.Mark 阅读(11784) 评论(0) 编辑
摘要: 《Time, Clocks, and the Ordering of Events in a Distributed System》大概是在分布式领域被引用的最多的一篇Paper了。 这篇Paper自己去年读过两次,最近尝试翻译了一下。第一是觉得太经典了,分布式领域必读论文;第二是想再加深下自己的理解。 英文水平有限,有兴趣还是建议读一下原文。阅读全文
posted @ 2018-04-10 10:15 杭州.Mark 阅读(1349) 评论(2) 编辑