第五周学习总结

HDFS分布式文件系统基础

文件系统是存储和组织数据的方法

传统单机文件系统

数据：存储的内容本身

元数据：记录数据的数据

分布式存储系统的核心属性及功能作用.

 

1.分布式存储的优点：无限扩展

单机纵向扩展

多机横向扩展

 

2.元数据记录的功能

快速定位文件位置

 

3.文件分块存储

针对块并行操作提高效率

 

4.副本机制的作用

荣誉存储，保障数据安全

 

HDFS分布式文件系统

故障检测和自动快速恢复

用于批处理，一次写入多次读取，低成本部署

 

重要特性

主从结构

Namenode为主节点

Datanode是从节点

分布存储

副本机制

元数据记录

抽象统一的目录树结构

 

HDFS shell命令行

hadoop fs -ls file：    本地文件操作系统

hadoop fs -ls hdfs：  hdfs文件操作系统

/  fs.defalut  默认配置

 

HDFS shell命令行常用操作

hadoop fs -mkdir [-p]<path>  创建文件夹

hadoop fs -ls[-h][-R][<path>]   查看指定目录下内容

haddoop fs -put[-f][-p]<localsrc>---<dst> 上传文件到HDFS指定目录下

hadoop fs -cat<src>... 查看HDFS文件内容

hadoop fs -get[-f][-p]<src>...<localdst>下载HDFS文件

hadoop fs -cp[-f]<src>...<dst>  -f覆盖目标文建件   拷贝HDFS文件

hadoop fs -appendToFile<localsrc>...<dst> 追加数据到HDFS文件中

hadoop fs -mv<src>...<dst> HDFS数据移动操作

 

 

HDFS工作流程与机制

各角色职责介绍与梳理

namenode  主角色 大内存

datanode  从角色 大磁盘

 

上传数据流程

pipeline管道

ack应答响应

默认3副本存储策略