会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
BirdieGarden
博客园
首页
新随笔
联系
管理
订阅
2019年9月24日
NodeManager概述(基本职能和内部架构)
摘要: 概述 NodeManager是运行在单个节点上的代理,它需要与应用程序的的ApplicationMaster和集群管理者ResourceManager交互: 从ApplicationMaster上接收有关Container的命令并执行之(比如启动,停止Container); 向ResourceMan
阅读全文
posted @ 2019-09-24 16:17 BirdieGarden
阅读(3442)
评论(0)
推荐(0)
2019年9月17日
个人博客搭建全记录(Hexo,Github)
摘要: "搭建过程主要借鉴小歪的博客" "博客主题airclod" Hexo,Github建站记录 1. 准备 Github账号 "注册登陆Github" 创建Repository,Repository Name就是 YourName.github.io (YourName : 就是注册用户名) 安装Git
阅读全文
posted @ 2019-09-17 17:11 BirdieGarden
阅读(317)
评论(0)
推荐(0)
2019年9月12日
Kubernetes --- 详细介绍和架构详解
摘要: Kubernetes是一个跨主机集群的开源的容器调度平台,它可以自动化应用容器的部署,扩展和操作,提供以容器为中心的基础架构 目录 一. Kubernetes用途 二. Kubernetes特点 三. 介绍容器技术 四. Kubernetes能做什么? 五. 使用Kubernetes的好处 六. 了
阅读全文
posted @ 2019-09-12 15:44 BirdieGarden
阅读(1837)
评论(0)
推荐(0)
2019年9月11日
使用kubeadm方式安装K8S
摘要: Kubeadm安装 kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具,伴随Kubernetes每个版本的发布都会同步更新,kubeadm会对集群配置方面的一些实践做调整,通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。 安
阅读全文
posted @ 2019-09-11 14:55 BirdieGarden
阅读(2771)
评论(0)
推荐(0)
2019年9月5日
ResourceManager学习之Application,状态机管理
摘要: Application管理 YARN中,Application是指应用程序,他可能启动多个运行实例,每个运行实例由一个ApplicationMaster与一组该ApplicationMaster启动的任务组成,他拥有名称、队列名、优先级等属性,是一个比较宽泛的概念,可以是一个MapReduce作业、
阅读全文
posted @ 2019-09-05 15:45 BirdieGarden
阅读(821)
评论(0)
推荐(0)
2019年9月3日
ResourceManager学习之ApplicationMaster,NodeManager管理
摘要: ApplicationMaster管理部分主要由三个服务构成,分别是ApplicationMasterLauncher、AMLivelinessMonitor和ApplicationMasterService,它们共同管理应用程序的ApplicationMaster的生命周期 Application
阅读全文
posted @ 2019-09-03 15:38 BirdieGarden
阅读(714)
评论(0)
推荐(0)
2019年9月2日
ResourceManager基本职能和内部架构
摘要: YARN也采用了Master/Slave结构,其中,Master实现为ResourceManager,负责整个集群资源的管理与调度;Slave实现为NodeManager,负责单个节点的资源管理与任务启动 ResourceManager是整个YARN集群中最重要的组件之一,它的设计直接决定了系统的可
阅读全文
posted @ 2019-09-02 14:17 BirdieGarden
阅读(3244)
评论(0)
推荐(0)
2019年8月30日
YARN底层基础库
摘要: YARN基础库是其他一切模块的基础,它的设计直接决定了YARN的稳定性和扩展性,YARN借用了MRV1的一些底层基础库,比如RPC库等,但因为引入了很多新的软件设计方式,所以它的基础库更多,包括直接使用了开源序列化框架Protocol Buffers和Apache Avro,自定义的服务库、事件库和
阅读全文
posted @ 2019-08-30 16:39 BirdieGarden
阅读(641)
评论(0)
推荐(0)
2019年8月29日
Hadoop RPC机制详解
摘要: 网络通信模块是分布式系统中最底层的模块,他直接支撑了上层分布式环境下复杂的进程间通信逻辑,是所有分布式系统的基础。远程过程调用(RPC)是一种常用的分布式网络通信协议,他允许运行于一台计算机的程序调用另一台计算机的子程序,同时将网络的通信细节隐藏起来,使得用户无需额外地为这个交互作用编程,大大的简化
阅读全文
posted @ 2019-08-29 16:17 BirdieGarden
阅读(3243)
评论(0)
推荐(2)
2019年8月28日
Yarn介绍(设计理念与基本架构)
摘要: Yarn : 新的计算框架,是一个全局资源管理器,负责整个集群的资源管理和分配 一. Yarn产生背景 Hadoop1.0MR有局限性,概括为以下几个方面 : 扩展性差 可靠性差 资源利用率低 无法支持多种计算框架 为克服Hadoop1.0中MR存在各种问题而提出了Yarn,它将JobTracker
阅读全文
posted @ 2019-08-28 17:18 BirdieGarden
阅读(1099)
评论(0)
推荐(0)
下一页
公告
点击右上角即可分享