上一页 1 2 3 4 5 6 ··· 29 下一页
摘要: 1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字(name)数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行,但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额,创建文件和目录将会失败。配额与重 阅读全文
posted @ 2020-03-23 14:46 JasonPeng1 阅读(399) 评论(0) 推荐(0)
摘要: HDFS的安全模式 (*)安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。如果 HDFS 处于安全模式,则表示 HDFS 是只读状态。 (*)当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据 块的完整性。假设我们设置的副本数(即参数 dfs.replicat 阅读全文
posted @ 2020-03-23 14:31 JasonPeng1 阅读(463) 评论(0) 推荐(0)
摘要: 快照 快照snapshots是HDFS文件系统的只读的基于某时间点的拷贝,可以针对某个目录,或者整个文件系统做快照。快照比较常见的应用场景是数据备份,以防一些用户错误或灾难恢复。 (*)默认:HDFS的快照是禁用的(*)第一步:管理员开启某个目录的快照功能[-allowSnapshot <snaps 阅读全文
posted @ 2020-03-23 10:08 JasonPeng1 阅读(583) 评论(0) 推荐(0)
摘要: 回收站 (*)默认,HDFS的回收站是关闭(*)启用回收站:参数 > core-site.xml添加fs.trash.interval来配置时间阀值,例如:(*)删除文件时,其实是放入回收站/trash(*)回收站里的文件可以快速恢复hdfs dfs -cp /user/root/.Trash/Cu 阅读全文
posted @ 2020-03-23 09:37 JasonPeng1 阅读(729) 评论(0) 推荐(0)
摘要: 上传过程 下载过程 阅读全文
posted @ 2020-03-23 08:49 JasonPeng1 阅读(527) 评论(0) 推荐(0)
摘要: package demo; import java.io.FileOutputStream; import java.io.InputStream; import java.io.OutputStream; import java.util.Arrays; import org.apache.had 阅读全文
posted @ 2020-03-22 18:37 JasonPeng1 阅读(817) 评论(0) 推荐(0)
摘要: 使用JavaAPI上传下载数据 1.新建一个java文件,将示例代码写入其中。2.运行Test。3.在hdfs中查看是否上传成功:hdfs dfs -ls /folder14.下载操作类似 文件上传/下载的两种方法: 法1:利用java.io流操作 法2:利用hadoop.io.IOUtils流操作 阅读全文
posted @ 2020-03-22 17:29 JasonPeng1 阅读(433) 评论(0) 推荐(0)
摘要: package demo; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit. 阅读全文
posted @ 2020-03-21 20:51 JasonPeng1 阅读(2093) 评论(0) 推荐(0)
摘要: 6-3 通过命令行操作HDFS 命令行 (1)普通操作命令: hdfs dfs ****** 命令 -mkdir:在HDFS上创建目录 hdfs dfs -mkdir /aaa hdfs dfs -mkdir /bbb/ccc 如果父目录不存在,使用-p参数先创建父目录 -ls 查看HDFS的某个目 阅读全文
posted @ 2020-03-21 20:14 JasonPeng1 阅读(541) 评论(0) 推荐(0)
摘要: 通过WebConsole操作HDFS Web Console:端口50070在浏览器访问:192.168.0.11:50070 需要注意的地方: Overview中的 Datanode(由于是为分布模式,所以只有一个DataNode) Startup Progress 启动HDFS的过程 阅读全文
posted @ 2020-03-21 19:58 JasonPeng1 阅读(349) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 ··· 29 下一页