随笔分类 -  Hadoop

YARN源码分析之StateMachineFactory状态机
摘要：转自： YARN源码分析之StateMachineFactory状态机 状态机由一组状态组成，这些状态大体分为三类，分别为初始状态、中间状态和最终状态。状态机首先由初始状态A开始运行，经过一系列的中间状态后到达最终状态，并在最终状态退出，从而形成一个有向无环图。其状态处理的逻辑是收到一个事件，触发状 阅读全文
posted @ 2021-02-20 17:20 Szz 阅读(415) 评论(0) 推荐(0)
hadoop 2.6 yarn Records实现分析
摘要：转自： https://blog.csdn.net/houzhizhen/article/details/51372058 Records在Yarn中原代码中主要用于RPC通訊，如以下语句生成一个新应用程序的請求，GetNewApplicationRequest request = Records. 阅读全文
posted @ 2021-02-18 15:29 Szz 阅读(101) 评论(0) 推荐(0)
Hadoop深入学习：MapTask详解
摘要：转自：http://flyingdutchman.iteye.com/blog/1878775#bc2337280 Hadoop深入学习：MapTask详解 博客分类： Hadoop MapTask执行流程内存缓冲区spillCombine 转自：http://flyingdutchman.itey 阅读全文
posted @ 2017-02-09 19:20 Szz 阅读(5494) 评论(0) 推荐(0)
MapReduce:详解Shuffle过程
摘要：转自：http://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间 阅读全文
posted @ 2016-08-18 10:30 Szz 阅读(314) 评论(0) 推荐(0)
Hadoop1.x与Hadoop2的区别
摘要：转自：http://blog.csdn.net/fenglibing/article/details/32916445 六、Hadoop1.x与Hadoop2的区别 1、变更介绍 Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有 阅读全文
posted @ 2016-08-16 11:02 Szz 阅读(3198) 评论(0) 推荐(0)
从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构） (转)
摘要：转自：http://blog.csdn.net/v_july_v/article/details/6704077 从hadoop框架与MapReduce模式中谈海量数据处理 前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘 阅读全文
posted @ 2016-07-31 10:24 Szz 阅读(222) 评论(0) 推荐(0)
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
摘要：摘自：http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式 阅读全文
posted @ 2016-06-28 11:22 Szz 阅读(397) 评论(0) 推荐(0)
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
摘要：摘自： http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网 阅读全文
posted @ 2016-06-28 10:48 Szz 阅读(2788) 评论(1) 推荐(0)