摘要：Hadoop HDFS源码分析 关于数据块的类1.BlocksMap官方代码中的注释为：/** * This class maintains the map from a block to its metadata. * block's metadata currently includes blo... 阅读全文

摘要：读取命名空间镜像和编辑日志数据1.读取命名空间镜像类FSImage是 命名空间镜像的java实现，在源码中，英文注释为，/** * FSImage handles checkpointing and logging of the namespace edits. * */FSImage.loadFS... 阅读全文

摘要：HDFS的主要特性 HDFS是基于流数据模式访问和处理超大文件的需求而开发的。HDFS主要特点 概括为以下几点：1.处理超大文件。超大文件通常是指数百MB、甚至数百TB大小的文件。2.检测和快速应对硬件故障。一般的HDFS系统是由数百台甚至上千台服务器组成，因此，故障检测和自动恢复是HDFS的一个... 阅读全文

摘要：HDFS是hadoop项目的核心子项目，是Hadoop主要的一个分布式文件系统。实际上，hadoop中有一个文件系统抽象，它提供了文件系统实现的各类接口，HDFS只是这个抽象文件系统的一个实例。文件系统 URI JAVA实现定义Localfilefs.LocalFileSystem本地文... 阅读全文

摘要：自己在虚拟机上建立伪分布环境，第一天还一切正常，后来发现每次重新开机以后都不能正常启动，在start-dfs.sh之后jps一下发现namenode不能正常启动，按提示找到logs目录下namenode的启动log发现如下异常。hadoop@cgy-VirtualBox:~$ jps5096 Re... 阅读全文