随笔分类 - Hadoop

SecondaryNameNode工作原理

摘要：SecondaryNameNode作用 1、对HDFS元数据的冷备份，预防NameNode出现故障丢失数据。 2、解决EditLog增大的问题其工作流程为：（1）SecondaryNameNode会定期地与NameNode通信，请求停止使用Editlog文件，暂时将新的写操作写到新的文件Edit 阅读全文

posted @ 2016-06-29 20:36 吹吹风之学习路程阅读(695) 评论(0) 推荐(0)

HDFS读写过程

摘要：一、HDFS读文件过程 1、客户端调用DistributedFileSystem的对象实例FileSystem的open方法来打开希望读取的文件，调用open后会返回一个FSDataInputStream对象。 2、分布式文件系统DistributedFileSystem通过RCP（远程过程调用）来阅读全文

posted @ 2016-06-25 11:04 吹吹风之学习路程阅读(409) 评论(0) 推荐(0)