摘要：
YARN调度架构 esourceScheduler是YARN的调度器，负责Container的分配。 AsyncDispatcher是单线程的事件分发器，负责向调度器发送调度事件。 ResourceTrackerService是资源跟踪服务，主要负责接收处理NodeManager的心跳信息。 App 阅读全文
posted @ 2020-05-24 19:45
bitbitbyte
阅读(1015)
评论(0)
推荐(0)
摘要：
概述 git安装好后, 可以在任何一个文件夹,右键打开Git Bash. 可以在该程序中直接运行linux命令或git命令 git工作机制的核心在于3个区: 工作区: 电脑的本地目录(该目录中有创建的.git目录) 暂存区: 暂存区的数据保存在.git/index文件中 本地仓库: 一般从远程仓库通过clone创建, 之后可以通过pull保持与远程仓库的同步; 另一种方式是使用init在当... 阅读全文
posted @ 2020-05-24 15:24
bitbitbyte
阅读(343)
评论(0)
推荐(0)
摘要：
简介 Spark有3种集群管理器: Standalone Hadoop YARN 又分为yarn client与yarn cluser Apache Mesos 生产环境中一般使用yarn cluser模式 个人理解 yarn主要有两个作用. 一个是创建Container以此来分配计算资源 另外一个是在Container上运行ExecutorBackend建立起除yarn之外的... 阅读全文
posted @ 2020-05-24 10:33
bitbitbyte
阅读(470)
评论(0)
推荐(0)
摘要：
DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的. AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括contain 阅读全文
posted @ 2020-05-24 10:30
bitbitbyte
阅读(469)
评论(0)
推荐(0)
浙公网安备 33010602011771号