随笔分类 -  大数据系列

摘要:1. 背景 最近想在家调试一些基本功能,需要使用到kafka,但不想装虚机,所以想到了安装docker环境,因为电脑桌面为window10家庭版,所以就有了这篇博客,仅记录整体流程。 2. 安装docker 目前网上有很多教程,基本都是可以参考的。 2.1 步骤 window10家庭版安装docke 阅读全文
posted @ 2020-12-09 00:48 王大咩的图书馆 阅读(469) 评论(0) 推荐(0)
摘要:1. 前言 基于Hadoop-3.2 。 1.1. 简介 AsyncDispatcher既是服务也是事件调度器(Eventhandler),如下AsyncDispatcher的定义: public class AsyncDispatcher extends AbstractService imple 阅读全文
posted @ 2020-11-04 23:09 王大咩的图书馆 阅读(325) 评论(0) 推荐(0)
摘要:1. 前言 为了更好分析ApplicationMater启动过程,本篇博客在前言部分将简要介绍一下yarn中重要的两个基础库:服务库和事件库,然后在此基础上,着重分析ApplicationMater的启动过程。 本文基于Yarn 3.2版本,文章较长,谨慎阅读,若是文中有误欢迎留言指出。 1.1. 阅读全文
posted @ 2020-10-29 00:21 王大咩的图书馆 阅读(848) 评论(0) 推荐(1)
摘要:1. Yarn的基本结构 1.1. Yarn的组成结构 Yarn总体是主/从(M/S)结构,ResourceManager(RM)是Master,NodeManager(NM)是Slave,RM负责对各NM上的资源进行统一管理和调度。Yarn主要由ResourceManager、NodeManage 阅读全文
posted @ 2020-09-16 22:57 王大咩的图书馆 阅读(941) 评论(0) 推荐(0)