摘要： 利用heartbeat和drbd实现HDFS的双机热备 written by aaronwxb，2012.03.30主要原理：利用DRBD实现共享存储空间，在主服务器(primary)将元数据写入本机时同时要写入备份节点（secondary），才算一次写操作完成，实现元数据的实时备份。利用heartbeat实现自动切换功能，双方之间发送心跳，若备份节点一旦其无法检测到主服务器的“心跳”则自动接管主服务器的资源。虚拟机环境配置：用vbox安装虚拟机，OS为ubuntu11.10，虚拟机双网卡，网卡配置为桥接方式，主要设置如下：主机IP地址配置master(主节点)eth... 阅读全文

摘要： Facebook Hadoop HA organized by aaronwxb，04.01一些数据21 PB of storage in a singleHDFScluster2000 machines12 TB per machine (a few machines have 24 TB each)1200 machines with 8 cores each + 800 machines with 16 cores each32 GB of RAM per machine15 map-reduce tasks per machineThe master had 6... 阅读全文