2017 年 7月随笔档案 - 松伯

07 2017 档案

摘要：Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据（数据块）信息以及数据块的ID。 NameNode上并不永久保存哪个DataNode上有哪些数据块的信息，而是通过DataNode启动时的阅读全文

posted @ 2017-07-03 21:40 松伯阅读(456) 评论(0) 推荐(0)

Hadoop源码分类概要整理

摘要：最近突然觉得，很多掌握的都还是很浅的原理，需要更深入细粒度去了解整个分布式系统的运转机制。于是。。开始作死而又作死而又作死的源码之旅。 Hadoop包的功能总共有下列几类： tool:提供一些命令行工具，如DistCp,archive mapreduce，:Hadoop的Map/Reduce实现阅读全文

posted @ 2017-07-02 15:05 松伯阅读(469) 评论(0) 推荐(0)