唯有前进值得敬仰

摘要： 1.GFS集群包括一个Master节点，多个chunkserver及多个client。这里的一个Master节点应该是个概念上的东西，具体实施分布时会有两个或更多个Master机器（但职责不同于Master，原则上我们依然认为只有一个master），如“shadow master”。chunkserver就是普通的linux机器运行着chunkserver进程，文件存储采用linux文件系统如ext3，ext4。client看作是GFS的接口，负责应用程序与GFS的沟通。文件划分成固定大小的chunk，每个chunk由一个64bit的chunk handle唯一标识，由master创建时分.. 阅读全文

摘要： 读完Bigtable论文小结一下。对于Bigtable的整体理解BigTable将数据存储分为两部分：最近的更新存储在内存（memtable）中，较老的更新则以SSTable的格式存储在GFS，后者是主体部分，不可变的数据结构。写操作的内容插入到memtable中，当memtable的大小达到一个阈值时就冻结，然后创建一个新的memtable，旧的就转换成一个SSTable写入GFS。读操作时还要综合考虑memtable和SSTable，如果写操作时产生的SSTable越来越多，就会影响读性能。于是采用mergingcompaction——读取一些SSTable和memtable的内容，合并成 阅读全文

摘要： 读完mapreduce论文小结一下。1.MapReduce是一个编程模型，封装了并行计算、容错、数据分布、负载均衡等细节问题。输入是一个key-value对的集合，中间输出也是key-value对的集合，用户使用两个函数：Map和Reduce。Map函数接受一个输入的key-value对，然后产生一个中间key-value 对的集合。MapReduce库把所有具有相同中间key值I的中间value值集合在一起后传递给reduce函数。Reduce函数接受一个中间key的值I和相关的value值的集合，合并这些value值，形成一个较小的value值的集合。对输入的key-value的理解：这里 阅读全文