认识HDFS分布式文件系统
1.设计基础目标
（1） 错误是常态，需要使用数据冗余
（2）流式数据访问。数据批量读而不是随机速写，不支持OLTP，hadoop擅长数据分析而不是事物处理。
（3）文件采用一次性写多次读的模型，文件一旦写入就无法修改。所以一致性模型非常简单。
（4）程序采用 数据就近 原则分配节点执行。（MapReduce）
2.hdf体系结构
hadfs设计十分简单，在我的1个master和两个slave节点的集群中，通过jps，可以查看在master节点上运行着SecondaryNameNode ，NameNode，JobTracker
在slave结点上运行着DataNode和TaskTracker进程
1.NameNode：管理文件系统的命名空间，记录每个文件数据快在各个DataNode上的位置和副本信息，记录命名空间内的改动或空间本身属性的改动；协调客户端对文件的访问；
NameNode使 用事物日志记录HDFS元数据的变化，使用映像文件存储文件系统的命名空间，
2.DataNode：管理存储节点，一次写入，多次读取，不支持修改。文件由数据块组成，包括文件映射，文件属性。默认的数据块大小为64MB，数据块尽量散布在各个节点中，负载均衡。
3.读取数据流程：客户端要访问HDFS中的文件，首先从NameNode获取组成这个文件的数据块位置列表，根据数据块位置列表，知道存储数据块的DataNode，访问DataNode获取数据，NameNode并不参与数据实际传输。
3.HDFS分布式文件系统的可靠性
- 副本冗余：在hdfs-site.xml中可以设置副本的数量，DataNode启动时，首先会遍历本地的文件系统，产生一份hdfs数据块和本地文件的对应关系列表（blockreport）汇报给namenode。
- 机架策略：通过“机架感知”，将数据块副本存储在不同的机架中。
- 心跳机制：NameNode周期性的从datanode接受心跳信号和块报告。根据块报告验证元数据，副本数量、磁盘错误、节点宕机。
- 安全模式：NameNode启动时会经过“安全模式”阶段，安全模式不会产生数据写。可以通过命令强制集群进入安全模式。
- 校验和：文件创立的时候，每个文件都会产生校验和，校验和会作为一个隐藏文件保存在命名空间下，客户端获取数据时可以检查校验和是否相同，从而法相数据块是否损坏。
- 回收站：HDFS提供回收站功能。
- 元数据保护：映像文件和事物日志是Namenode的核心数据。可以配置为拥有多个副本，副本会降低Name的处理速度，但是增加安全性。
- 快照
4.HDFS文件操作（命令行操作和API调用的方式）
列出文件：hadoop dfs -ls 后可接上目录
文件上传：hadoop dfs -put 本地文件 hdfs目录
文件复制到本地：hadoop dfs -get
文件删除：hadoop dfs -rmr 目录或文件名
文件查看：hadoop dfs -cat 文件名
查看HDFS的基本统计信息：hadoop dfsasmin -report
进入/退出安全模式：hadoop dfsadmin -safemode enter/leave
5.增加节点
- 在新节点安装好hadoop
- 把namenode的有关配置文件复制到该节点
- 修改masters和slaves文件，增加该节点
- 设施ssh免密码进入该结点
- 单独启动该节点上的datanode和tasktracker（hadoop-daemon.sh start datanode/tasktracker）
- 运行start-balancer.sh进行负载均衡。
