2020年7月7日
HDFS之使用Java客户端对文件的一些操作
摘要： 在这里总结了一下使用java对HDFS上文件的操作，比如创建目录、上传下载文件、文件改名、删除…… 首先对一些类名、变量名做出解释说明： FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.defaultFS的配置！ 有两种实现！ LocalFileSystem： 本地 阅读全文
posted @ 2020-07-07 18:01 孙晨c 阅读(465) 评论(0) 推荐(0)
HDFS文件块大小（重点）
摘要： HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 那么，问题来了，为什么一个block的大小就是128M呢？ 默认为128M的原因，基于最佳传输损耗理论！ 不论对磁盘的文件 阅读全文
posted @ 2020-07-07 17:50 孙晨c 阅读(1999) 评论(0) 推荐(0)
HDFS概述及其优缺点
摘要： HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed 阅读全文
posted @ 2020-07-07 17:38 孙晨c 阅读(793) 评论(0) 推荐(1)