随笔分类 -  公开课笔记

[分布式系统学习] 6.824 LEC3 GFS 笔记
摘要:Google File System 第三课的准备是阅读论文GFS。该论文是分布式系统中经典论文之一。 读完做一点小总结。 GFS的feature 1. 非POXIS接口API,支持对文件和文件夹的创建,读,写,增加,重命名和创建快照操作。 2. 有多个商用Linux机器做节点,称为chunk se 阅读全文
posted @ 2017-06-18 21:12 lichen782 阅读(446) 评论(0) 推荐(0)
[分布式系统学习] 6.824 LEC2 RPC和线程 笔记
摘要:6.824的课程通常是在课前让你做一些准备。一般来说是先读一篇论文,然后请你提一个问题,再请你回答一个问题。然后上课,然后布置Lab。 第二课的准备-Crawler 第二课的准备不是论文,是让你实现Go Tour里面的crawler。Go Tour里面原有的实现是串行的,并且可能爬到相同的url。要 阅读全文
posted @ 2017-06-15 22:31 lichen782 阅读(409) 评论(0) 推荐(0)
[分布式系统学习] 6.824 LEC1 MapReduce 笔记
摘要:什么是Map-Reduce呢? Map指的是一个形如下面定义的函数。 它接受一个key和一个value,返回一组所谓的中间值。注意,返回的不是一个dict,所以k1可能等于k2。 Reduce指的是一个形如下面定义的函数。 它接受一个key和该key对应的所有在Map函数中返回的value,返回k值 阅读全文
posted @ 2017-06-15 21:19 lichen782 阅读(738) 评论(1) 推荐(0)