随笔分类 - 大数据系列
摘要:1. 背景 最近想在家调试一些基本功能,需要使用到kafka,但不想装虚机,所以想到了安装docker环境,因为电脑桌面为window10家庭版,所以就有了这篇博客,仅记录整体流程。 2. 安装docker 目前网上有很多教程,基本都是可以参考的。 2.1 步骤 window10家庭版安装docke
        阅读全文
                
摘要:1. 前言 基于Hadoop-3.2 。 1.1. 简介 AsyncDispatcher既是服务也是事件调度器(Eventhandler),如下AsyncDispatcher的定义: public class AsyncDispatcher extends AbstractService imple
        阅读全文
                
摘要:1. 前言 为了更好分析ApplicationMater启动过程,本篇博客在前言部分将简要介绍一下yarn中重要的两个基础库:服务库和事件库,然后在此基础上,着重分析ApplicationMater的启动过程。 本文基于Yarn 3.2版本,文章较长,谨慎阅读,若是文中有误欢迎留言指出。 1.1. 
        阅读全文
                
摘要:1. Yarn的基本结构 1.1. Yarn的组成结构 Yarn总体是主/从(M/S)结构,ResourceManager(RM)是Master,NodeManager(NM)是Slave,RM负责对各NM上的资源进行统一管理和调度。Yarn主要由ResourceManager、NodeManage
        阅读全文
                

 
         浙公网安备 33010602011771号
浙公网安备 33010602011771号