12 2014 档案

摘要：这篇分析一下Lease Recovery 和 Block Recoveryhdfs支持hflush后，需要保证hflush的数据被读到，datanode重启不能简单的丢弃文件的最后一个block，而是需要保留下hflush的数据。同时为了支持append，需要将已经finalized的block重新... 阅读全文

摘要：这篇分析一下namenode 写edit log的过程。关于namenode日志,集群做了如下配置``` dfs.nameservices sync Logical name for this new nameservice dfs.namenode.name.d... 阅读全文

摘要：HDFS的hflush,hsync和close有啥区别，分别做了什么hflush: 语义是保证flush的数据被新的reader读到，但是不保证数据被datanode持久化.hsync: 与hflush几乎一样，不同的是hsync保证数据被datanode持久化。close: 关闭文件.除了做到以上... 阅读全文

摘要：[上一篇](http://www.cnblogs.com/foxmailed/p/4137949.html)说了datanode端如何处理pipeline写请求的，这里主要看DFSClient。这里以append为例, write差不多。创建一个pipeline用于append操作的流程:FileS... 阅读全文

摘要：站在DataNode的视角，看看pipeline写的流程，本文不分析客户端部分，从客户端写数据之前拿到了3个可写的block位置说起。每个datanode会创建一个线程DataXceiverServer，接收上游过来的TCP连接，对于每个新建的TCP连接,都会创建一个叫做DataXceiver的线程... 阅读全文