Hadoop点滴-HDFS文件系统
1、HDFS中,目录作为元数据,保存在namenode中,而非datanode中
2、HDFS的文件权限模型与POSIX的权限模式非常相似,使用 r w x
3、HDFS的文件执行权限(X)可以忽略,因为你不能在hdfs中执行文件
Hadoop有一个抽象系统的概念,而HDFS只是其中的一个实现,支持的文件系统有:
| 文件系统 | URI方案 | Java实现(都在org.apache.hadoop包中) | 描述 |
| Loca | file | fs.LocalFileSystem | 使用客户端校验和 的本地文件系统 |
| HDFS | hdfs | ||
| WebHDFS | Webhdfs | ||
| Secure WebHDFS | swebhdfs | ||
| HAR | har | ||
| View | viewfs | ||
| FTP | ftp | ||
| S3 | S3a | ||
| Azure | wasb | ||
| Swift | swift |
如:通过HDFS命令显示本地文件系统信息
hdfs dfs -ls file:///
4、接口
1、HTTP
通过WebHDFS协议提供HTTP REST API,但较java客户端要慢;
启动 ./httpfs.sh start
浏览器访问 http://192.168.0.10:14000/
2、C语言
开发进度要落后于java
3、NFS
使用Hadoop的NFSv3网关,将HDFS挂载为本地客户端的文件系统是可行的,可以在文件末尾最佳数据,但不能随机修改数据
浙公网安备 33010602011771号