ZisZ

摘要： POSIX对rename行为的定义如下（http://www.opengroup.org/onlinepubs/009695399/functions/rename.html）：将一个文件重命名为一个目录，或将一个目录重命名为一个文件将会失败。将旧文件重命名为一个已经存在的新文件将会成功，原本存在的新文件会先被删除。将旧目录重命名为一个已经存在的、且非空的新目录会失败。将旧目录重命名为一个已经存在的、空的新目录会成功，原本存在的新目录会先被删除。新路径以旧路径作为前缀会失败。新路径包含不存在的父目录会失败，（如将/a/b重命名为/c/d而c不存在时，会失败）。因为2、4条的缘故，rename要 阅读全文

摘要： 原文成文于去年（2012.7.30），已然过去了一年，很多信息也许已经过时，不保证正确，与Hadoop学习笔记系列一样仅为留做提醒。-----针对现有的所有Hadoop HA方案进行调研，以时间为线，总结如下：1. BackupNode方案： 08年时开源社区已经开始着手解决Namenode单点问题，随之出来的第一个方案是BackupNode方案。基于0.20版，并合并进入0.21版；参见Apache JIRA HADOOP-4539 [1] 该方案思路为：将NameNode产生的editLog（对文件系统元数据的修改）通过网络复写到BackupNode的内存中，再由BackupNode对接收 阅读全文

摘要： Linux NFS客户端需要很小心地配置，否则在NFS服务器崩溃时，访问NFS的程序会被挂起，用ps查看，进程状态（STAT）处于D，意为（由于IO阻塞而进入）不可中断睡眠（如果是D+，+号表示程序运行于前台进程组）[1]。为此，最新的Hadoop HA方案Quorum-Journal的作者在设计文档中对NFS共享存储保存NameNode元数据的作法如下诟病[2]：Custom hardware - the hardware requirements of a NAS device and remotely controllable PDU can be expensive, and also 阅读全文