随笔分类 -  hadoop

摘要：hadoop之hdfs及其工作原理 （一）hdfs产生的背景 随着数据量的不断增大和增长速度的不断加快，一台机器上已经容纳不下，因此就需要放到更多的机器中，但这样做不方便维护和管理，因此需要一种文件系统进行统一管理；另一方面，数据量之大，势必会对处理器性能提出了更大的要求，单个处理器性能的提升成本极 阅读全文

摘要：FileSystem及其源码分析 FileSystem这个抽象类提供了丰富的方法用于对文件系统的操作，包括上传、下载、删除、创建等。这里多说的文件系统通常指的是HDFS（DistributedFileSystem），其实，hadoop处理支持分布式文件系统，还提供了对诸如本地文件系统（LocalFi 阅读全文