摘要：对于高频率使用的数据，用户可以将其放人某文件夹，然后向各个DataNode发出指示将其中的数据缓存在内存里。这种情况下，用户还可以利用一组zero-copy的API，同时由于不再需要反复验证数据完整性，可以显著提高计算效率。 各DataNode的缓存由NameNode统一管理，周期性地向后者发... 阅读全文

摘要：1. Edit Viewer 用于将EditLog转换成各种可读文件的工具。2. Image Viewer 用于将FsImage转换成各种可读文件的工具。3. Quotas 分NameQuotas和SpaceQuotas两种。前者用于限制文件名及路径名的长度，后者用于限制某文件夹所能容纳的文件的大小... 阅读全文

摘要：上篇介绍提到，NameNode主要通过EditLog和FsImage两个文件来维护整个集群的namespace。在NameNode启动时，合并两个文件并更新FsImage，并将EditLog清空，启动后只需要实时更新EditLog文件。如果集群庞大且操作十分密集的话，会使EditLog非常肥大，从... 阅读全文

摘要：1. HDFS最初作为Apache Nutch搜索引擎的基础而生，被设计为可在廉价硬件设备上运行的具有高容错性的分布式文件系统。2. 主要设计目标是大吞吐量而非低延迟性，为此放松了一些POSIX协议的要求。3. HDFS支持超大文件，典型文件通常是GB级的。HDFS的文件是一次写入多次读取模式。4.... 阅读全文

摘要：protected static K getKeyValuesByCacheMap(Class keyValuesType, ConcurrentMap cacheMap, Object[] values) { ConcurrentMap parentMap = cacheMap; ... 阅读全文