随笔分类 -  Hadoop

摘要:两个重要概念: NameNode:领导级别。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间; DataNode:员工级别。负责存储客户端发来的数据块block;执行数据块的读写操作。 写流程 写详细步骤: 1、首先向namenode通信,请求上传文件,namenode检查 阅读全文
posted @ 2021-12-13 10:38 魏阳晨 阅读(681) 评论(0) 推荐(0)
摘要:1)Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎 所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统(GFS)。GFS也就是google File 阅读全文
posted @ 2021-02-12 17:27 魏阳晨 阅读(260) 评论(0) 推荐(0)

AmazingCounters.com