GFS读书笔记
摘要:1.分布式文件系统的设计要点:容错能力强;支持的数据量大(不用考虑多数目的小文件);文件写入一般采取追加的方式,不支持随机写入 ;跨平台2.详细设计要点:构架于廉价的PC机之上,可以在出现错误时常规地进行错误恢复;主要支持适当数量的大文件,应当支持小文件,但是不必对此作优化;文件读取一般一次读取较大的比特数,随机读写的问题可以次要考虑;支持多个客户端对同一个文件的读写的同步;一次性读写的带宽比读写的延时更重要3.每一个用户的读写操作是原子的;4.主机掌握文件系统的所有元数据,包括文件的名称,存取控制信息,文件在数据结点上的映射和数据结点的位置。也包括数据节点的回收等内容5.块大小:块大小不能太
阅读全文
hadoop安装全过程
摘要:hadoop安装全过程1.下载hadoop-0.20.2,下载地址:http://www.apache.org/dist/hadoop/common/hadoop-0.20.2/2.下载jdk-6u20-linux-i586.bin,下载地址:http://autosetup1.googlecode.com/files/jdk-6u20-linux-i586.bin3.安装jdk:./jdk-6u20-linux-i586.bin4.设置环境变量:在/etc/profile中加入如下语句:JAVA_HOME=java安装路径(如/usr/java)CLASSPATH=.:$JAVA_HOME/
阅读全文