大名鼎鼎的V

导航

04

hadoop的起源和发展

Hadoop最早起源于lucene下的Nutch。设计目的是是构建一个强大的的全网搜索引擎,包括网页抓取、索引、查询等功能。

hadoop的发展则是再远基础上修复了一些bug以及添加了新的架构,引入了其他平台,hadooop自身也日渐完善。

 

 

用图与自己的话,简要描述名称节点、数据节点的主要功能及相互关系、名称节点的工作机制。

名称节点负责存储元数据,并将元数据保存在内存中,保存文件,block,datanode之间的映射关系。

数据节点负责存储文件内容,并将文件内容保存在磁盘中,维护了block id 到datanode本地文件的映射关系。

 

 

 

 

posted on 2021-10-25 11:17  大名鼎鼎的V  阅读(32)  评论(0编辑  收藏  举报