筱超超

导航

2019年10月12日 #

深入Hadoop

摘要： ## 1、HDFS原理 ![1542796586771](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1542796586771.png) ### 1）三大组件 NameNode、DataNode、Secondar 阅读全文

posted @ 2019-10-12 17:03 筱超超 阅读(214) 评论(0) 推荐(0)

初识Hadoop(2)

摘要： Hadoop概述 yarn： ResourceManager： 处理客户端请求 启动/监控ApplicationMaster 监控NodeManager 资源分配调度 ApplicationMaster： 程序切分 为应用程序申请资源 并分配任务 任务监控与容错 NodeManager： 单个节点上 阅读全文

posted @ 2019-10-12 17:00 筱超超 阅读(90) 评论(0) 推荐(0)

初识Hadoop

摘要： 1.Hadoop的前世今生 ​ 1）搜索引擎：网络爬虫+索引服务器（生成索引+检索） ​ 2）Doung Cutting写了lucence包(生成索引+检索) ​ 3）Nutch:网络爬虫+索引服务器（lucence封装） ​ a.分布式存储？？ ​ b.分布式计算？？？ ​ 4）2002年谷歌开源 阅读全文

posted @ 2019-10-12 16:52 筱超超 阅读(124) 评论(0) 推荐(0)

初识Hadoop(1)

摘要： 1.Hadoop前世今生 1）搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2）Doung Cutting写了lucene包（生成索引+检索） 3）Nutch：网络爬虫+索引服务器（lucene封装） 4）2002年开源GFS论文，Doung Cutting写了HDFS模块 5）2004年谷歌开 阅读全文

posted @ 2019-10-12 16:27 筱超超 阅读(130) 评论(0) 推荐(0)