2018 年 8月 28 日随笔档案 - 自由与宁静

摘要： 1.MapReduce基础概念答：MapReduce作业时一种大规模数据的并行计算的便程模型。我们可以将HDFS中存储的海量数据，通过MapReduce作业进行计算，得到目标数据。2.MapReduce的四个阶段答：Split阶段、Map阶段（需要编码）、Shuffl... 阅读全文

posted @ 2018-08-28 13:30 自由与宁静阅读(176) 评论(0) 推荐(0)

摘要： 1.Hadoop2.0与1.0答：Hadoop2.0之后的版本移除了原有的JobTracker和TaskTracker，改由Yarn平台的ResourceManager负责集群中所有资源的管理和分配，NodeManager管理集群中单个计算节点。2.Yarn平台答：Y... 阅读全文

posted @ 2018-08-28 13:10 自由与宁静阅读(168) 评论(0) 推荐(0)

摘要：转载至https://www.cnblogs.com/buptlyn/p/4555206.html 阅读全文

posted @ 2018-08-28 09:59 自由与宁静阅读(148) 评论(0) 推荐(0)

摘要： 1.什么是MapReduce答：简而言之，就是将一个大任务分成多个小的子任务（Map），并行执行后，合并结果（Reduce）。下面举一个纸牌得栗子 2.MapReduce的运行流程 3.JobTracker角色答：1.作业调度。2.分配任务、监控任务执行进度。3.监控... 阅读全文

posted @ 2018-08-28 00:09 自由与宁静阅读(145) 评论(0) 推荐(0)

自由与宁静