随笔分类 -  Hadoop学习笔记

摘要：DataNode代码调用逻辑 一个典型的HDFS系统包括一个NameNode和多个DataNode。DataNode是hdfs文件系统中真正存储数据的节点。 每个DataNode周期性和唯一的NameNode通信，还时不时和hdfs客户端代码以及其他datanode通信。 datanode维护一个重 阅读全文

摘要：NameNode代码调用逻辑 hdfs的目录和文件的创建，删除，还有文件的读写，追加，都是客户端通过rpc，调用namenode的接口。 接着namenode调用成员FSNamesystem namesystem完成文件的操作，namesystem会做租约的管理，网络拓扑的控制，文件权限的控制等。 阅读全文

摘要：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： 保存多个副本，且提供容错机制，副本丢失或宕机自动 阅读全文

摘要：1、HDFS读文件过程 HDFS客户端(client)用DistributedFileSystem的open()函数打开文件 对于文件，DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。 对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 Distri 阅读全文