20201017-大数据-04

1.描述HDFS体系结构、工作原理与流程

1.1HDFS体系结构如图所示

1.2 HDFS工作原理

文件太大，一个机器的空间不足，可以将文件分割为小块儿然后保存到多台机器上；另外，还可以在不同机器上对文件进行备份，避免因为机器损坏文件丢失。

传统的分布式存储模式也可以做到以上两点，但是存储一些问题：负载难以均衡。

HDFS的出现就是为了解决负载均衡。它会将文件切割成大小相同的块（Bolck），默认情况下是128MB。

 

 

DataNode工作机制

参考于 hdfs的工作流程 moreyounger 2019-03-04 ,https://blog.csdn.net/weixin_40434214/article/details/88097126

 

2.伪分布式安装Hadoop