每周总结第四周

这一周我主要是通过看视频学习了一些hadoop的知识，

因为我的电脑重装过，所以大一下学期那会儿安装的linux虚拟机已经没有了，所以又重新安装了一遍虚拟机和linux系统，然后安装了hadoop3，利用三台虚拟机搭建了一个小的hadoop集群，

通过看视频了解到了hadoop的作用，

hadoop是由java编写，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce，

分布式存储的优点：无限扩展支撑海量数据存储，

这两个核心部件的关系是物理统一逻辑分离，

hadoop有多种特性优点：

scalability（扩容能力）：Hadoop是在可用的计算机集群见分配数据并完成计算任务的，这些集群可方便灵活的方式扩展到数以千计的节点
Economical（成本低）：Hadoop集群允许通过部署普通廉价的机器组成集群来处理大数据，以至于成本很低看中的是集群整体能力
efficiency（效率高）：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快
reliability（可靠性）：能自动维护数据的多份复制，并且在任务失败后能自动的重新部署（redeploy）计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

 

还学习了一些HDFS的知识，

文件系统是一种存储和祖师数据的方法，实现了数据的存储、分级组织、访问和获取等操作，使得用户对文件访问和查找变得容易。

然后还学习了一些命令语句，这些都和linux相似，像ls之类的，在这里就不一一列举了，

学习过程中还有一个很有意思的小情节，

Doug Cutting作为hadoop之父，其给hadoop命名的来源竟然是他儿子最喜欢的玩具，那个玩具就是一只黄色的大象，所以，hadoop的图标自然也就是一直黄色的大象，

看到这的时候我不禁感叹，大佬就是任性，当然大佬也有他任性的资本。