摘要：1 背景 分布式理论基础（一）一致性及解决一致性的两种方式：2PC和3PC 中介绍了一致性，Paxos协议在节点宕机恢复、消息无序或丢失、网络分化的场景下能保证决议的一致性，是被讨论最广泛的一致性协议。 2 Basic Paxos 作为解决一致性问题的协议，Paxos的核心是节点间如何确定并只确定一 阅读全文

摘要：1 背景 在测试spark计算时，将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是很难的，因为作业是提交到yarn的集群上，所以，去yarn集群上看日志是很麻烦的，但是又需要看print的信息，方便调试或者别的目的。 Spark日志确切的存放路径和 阅读全文

摘要：1 物理时钟 vs 逻辑时钟 可能有人会问，为什么分布式系统不使用物理时钟记录事件？每个事件对应打上一个时间戳，当需要比较顺序的时候比较相应时间戳就好了。 这是因为现实生活中物理时间有统一的标准，而分布式系统中每个节点记录的时间并不一样，即使设置了NTP时间同步节点间也存在毫秒级别的偏差。因而分布式 阅读全文

摘要：1 选举 1.1 简述 一致性问题(consistency)是独立的节点间如何达成决议的问题，选出大家都认可的leader本质上也是一致性问题，因而如何应对宕机恢复、网络分化等在leader选举中也需要考量。 1.2 Bully算法 Bully算法是最常见的选举算法，其要求每个节点对应一个序号，序号 阅读全文

摘要：1 一致性 1.1 简述 一致性，是指对每个节点一个数据的更新，整个集群都知道更新，并且是一致的 假设一个具有N个节点的分布式系统，当其满足以下条件时，我们说这个系统满足一致性： 全认同: 所有N个节点都认同一个结果 值合法: 该结果必须由N个节点中的过半节点提出 可结束: 决议过程在一定时间内结束 阅读全文