10 2023 档案

摘要:第一次接触mr还是在入门mit6.824的lab1,最近重新读了一遍原始论文,又有了一些新的想法,简单做一些记录。 作为Google分布式系统的重要组成,本篇文章核心在于map/reduce操作带来的抽象并行化,给出接口之后,编写应用程序的程序员就不需要对底层的机制做过多的处理。而在本质上,mr只是 阅读全文
posted @ 2023-10-26 22:53 真昼小天使daisuki 阅读(57) 评论(0) 推荐(0)
摘要:包括json库的相关读取,proof-of-work算法的实现,Merkel Tree的构建,使用hash创建新块等内容,使用本地json文件模拟mempool和block chain,C++编写。 #include <iostream> #include <fstream> #include <s 阅读全文
posted @ 2023-10-26 21:32 真昼小天使daisuki 阅读(87) 评论(0) 推荐(0)
摘要:2012年的OSDI上google发布了Spanner数据库。个人认为Spanner对于版本控制,事务外部一致性的处理,使用TrueTime + Timestamp进行全球备份同步的实现都比较值得一看。个人认为对于其中时序逻辑的理解对在大范围内(通常是全国到全球)部署分布式DB以确保复制同步有重要意 阅读全文
posted @ 2023-10-26 00:47 真昼小天使daisuki 阅读(144) 评论(0) 推荐(0)
摘要:阶段一:开发环境及版本 以下环境均来自官网: 本地宿主机环境:Windows 10 21H2 64位 虚拟机软件:VMware workstation 15.5 pro 虚拟机镜像版本:ubuntu-20.04.5-desktop-amd64.iso 阶段二:在配置k8s之前的事前准备(已有机器环境 阅读全文
posted @ 2023-10-20 10:00 真昼小天使daisuki 阅读(638) 评论(0) 推荐(0)
摘要:最近看了亚麻的Dynamo,个人认为其中always writeable的业务目标,对于DHT,vector clock,merkel tree的应用,包括对于一致性和高可用的权衡(基于CAP猜想,实现默认保证分区容错,因此二选一)等都很有意思。建议参考原论文食用。 What is the prob 阅读全文
posted @ 2023-10-19 22:34 真昼小天使daisuki 阅读(52) 评论(0) 推荐(0)
摘要:本文重点关注了系统设计相关的内容,paper后半部分的具体应用此处没有过多涉及。从个人笔记修改而来,因此为英文版本。 Bigtable: A Distributed Storage System for Structured Data Data model: not a relational dat 阅读全文
posted @ 2023-10-16 19:54 真昼小天使daisuki 阅读(69) 评论(0) 推荐(0)