摘要：今天在使用svn进行版本管理时出现了一个小问题：原本在s目录下有一个c目录，不知为何被删除了，而svn st命令并没有认为它消失，svn up命令也无法下载回来；从另一个地方拷贝过来一个c，svn st命令会认为c目录是新出现的，却又无法通过svn add命令加回到版本管理中；因为c目录下已经自带.svn版本，already under version control；把c下面的.svn删除，通过svn add命令加回，却无法svn commit， 405 Method Not Allowed；简单想一下也能大概明白原因：svn的客户端与服务器端通过传输diff更新变化，除第一次svn co之 阅读全文

摘要：POSIX对rename行为的定义如下（http://www.opengroup.org/onlinepubs/009695399/functions/rename.html）：将一个文件重命名为一个目录，或将一个目录重命名为一个文件将会失败。将旧文件重命名为一个已经存在的新文件将会成功，原本存在的新文件会先被删除。将旧目录重命名为一个已经存在的、且非空的新目录会失败。将旧目录重命名为一个已经存在的、空的新目录会成功，原本存在的新目录会先被删除。新路径以旧路径作为前缀会失败。新路径包含不存在的父目录会失败，（如将/a/b重命名为/c/d而c不存在时，会失败）。因为2、4条的缘故，rename要 阅读全文

摘要：原文成文于去年（2012.7.30），已然过去了一年，很多信息也许已经过时，不保证正确，与Hadoop学习笔记系列一样仅为留做提醒。-----针对现有的所有Hadoop HA方案进行调研，以时间为线，总结如下：1. BackupNode方案： 08年时开源社区已经开始着手解决Namenode单点问题，随之出来的第一个方案是BackupNode方案。基于0.20版，并合并进入0.21版；参见Apache JIRA HADOOP-4539 [1] 该方案思路为：将NameNode产生的editLog（对文件系统元数据的修改）通过网络复写到BackupNode的内存中，再由BackupNode对接收 阅读全文

摘要：Linux NFS客户端需要很小心地配置，否则在NFS服务器崩溃时，访问NFS的程序会被挂起，用ps查看，进程状态（STAT）处于D，意为（由于IO阻塞而进入）不可中断睡眠（如果是D+，+号表示程序运行于前台进程组）[1]。为此，最新的Hadoop HA方案Quorum-Journal的作者在设计文档中对NFS共享存储保存NameNode元数据的作法如下诟病[2]：Custom hardware - the hardware requirements of a NAS device and remotely controllable PDU can be expensive, and also 阅读全文

摘要：描述Lease、Block Recovery、Replication、SafeMode 阅读全文

摘要：描述Block Report、Checkpoint、Decommission、Heartbeat 阅读全文

摘要：介绍HDFS Client的主要结构，并描述写过程的部分细节 阅读全文

摘要：DataNode对ClientDatanodeProtocol、InterDatanodeProtocol两个协议接口进行了实现，通过ipc::Server向Client、其它DN提供RPC服务（参见Hadoop IPC）； 同时DataNode依赖DatanodeProtocol向NN请求RPC服 阅读全文

摘要：NameNode对三大协议接口（NamenodeProtocol、ClientProtoco、DatanodeProtocol）进行实现，利用ipc::Server通过三个协议分别向SNN、Client、DN提供RPC服务（参考：Hadoop IPC）；NameNode的核心是FSNamesysem 阅读全文

摘要：因为某些原因需要把前一段时间对Hadoop（版本基于0.20.2）的学习积累搬到这里，成为一个系列。写得会很简单，只为必要时给自己提醒。 IPC框架 所有Hadoop协议接口的实现都依赖Hadoop IPC； Hadoop IPC的目标是通过RPC完成调用者（RPC::Invoker）对被调用者（R 阅读全文