摘要:概述 NodeManager是运行在单个节点上的代理,它需要与应用程序的的ApplicationMaster和集群管理者ResourceManager交互: 从ApplicationMaster上接收有关Container的命令并执行之(比如启动,停止Container); 向ResourceMan 阅读全文
posted @ 2019-09-24 16:17 BirdieGarden 阅读 (152) 评论 (0) 编辑
摘要:"搭建过程主要借鉴小歪的博客" "博客主题airclod" Hexo,Github建站记录 1. 准备 Github账号 "注册登陆Github" 创建Repository,Repository Name就是 YourName.github.io (YourName : 就是注册用户名) 安装Git 阅读全文
posted @ 2019-09-17 17:11 BirdieGarden 阅读 (35) 评论 (0) 编辑
摘要:Kubernetes是一个跨主机集群的开源的容器调度平台,它可以自动化应用容器的部署,扩展和操作,提供以容器为中心的基础架构 目录 一. Kubernetes用途 二. Kubernetes特点 三. 介绍容器技术 四. Kubernetes能做什么? 五. 使用Kubernetes的好处 六. 了 阅读全文
posted @ 2019-09-12 15:44 BirdieGarden 阅读 (232) 评论 (0) 编辑
摘要:Kubeadm安装 kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具,伴随Kubernetes每个版本的发布都会同步更新,kubeadm会对集群配置方面的一些实践做调整,通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。 安 阅读全文
posted @ 2019-09-11 14:55 BirdieGarden 阅读 (151) 评论 (0) 编辑
摘要:Application管理 YARN中,Application是指应用程序,他可能启动多个运行实例,每个运行实例由一个ApplicationMaster与一组该ApplicationMaster启动的任务组成,他拥有名称、队列名、优先级等属性,是一个比较宽泛的概念,可以是一个MapReduce作业、 阅读全文
posted @ 2019-09-05 15:45 BirdieGarden 阅读 (63) 评论 (0) 编辑
摘要:ApplicationMaster管理部分主要由三个服务构成,分别是ApplicationMasterLauncher、AMLivelinessMonitor和ApplicationMasterService,它们共同管理应用程序的ApplicationMaster的生命周期 Application 阅读全文
posted @ 2019-09-03 15:38 BirdieGarden 阅读 (71) 评论 (0) 编辑
摘要:YARN也采用了Master/Slave结构,其中,Master实现为ResourceManager,负责整个集群资源的管理与调度;Slave实现为NodeManager,负责单个节点的资源管理与任务启动 ResourceManager是整个YARN集群中最重要的组件之一,它的设计直接决定了系统的可 阅读全文
posted @ 2019-09-02 14:17 BirdieGarden 阅读 (270) 评论 (0) 编辑
摘要:YARN基础库是其他一切模块的基础,它的设计直接决定了YARN的稳定性和扩展性,YARN借用了MRV1的一些底层基础库,比如RPC库等,但因为引入了很多新的软件设计方式,所以它的基础库更多,包括直接使用了开源序列化框架Protocol Buffers和Apache Avro,自定义的服务库、事件库和 阅读全文
posted @ 2019-08-30 16:39 BirdieGarden 阅读 (164) 评论 (0) 编辑
摘要:网络通信模块是分布式系统中最底层的模块,他直接支撑了上层分布式环境下复杂的进程间通信逻辑,是所有分布式系统的基础。远程过程调用(RPC)是一种常用的分布式网络通信协议,他允许运行于一台计算机的程序调用另一台计算机的子程序,同时将网络的通信细节隐藏起来,使得用户无需额外地为这个交互作用编程,大大的简化 阅读全文
posted @ 2019-08-29 16:17 BirdieGarden 阅读 (304) 评论 (0) 编辑
摘要:Yarn : 新的计算框架,是一个全局资源管理器,负责整个集群的资源管理和分配 一. Yarn产生背景 Hadoop1.0MR有局限性,概括为以下几个方面 : 扩展性差 可靠性差 资源利用率低 无法支持多种计算框架 为克服Hadoop1.0中MR存在各种问题而提出了Yarn,它将JobTracker 阅读全文
posted @ 2019-08-28 17:18 BirdieGarden 阅读 (77) 评论 (0) 编辑