随笔分类 - Hadoop
摘要:两个重要概念: NameNode:领导级别。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间; DataNode:员工级别。负责存储客户端发来的数据块block;执行数据块的读写操作。 写流程 写详细步骤: 1、首先向namenode通信,请求上传文件,namenode检查
阅读全文
摘要:1)Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎 所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统(GFS)。GFS也就是google File
阅读全文

浙公网安备 33010602011771号