摘要:在kubernetes的scheduler调度器的设计中为用户预留了两种扩展机制SchdulerExtender与Framework,本文主要浅谈一下SchdulerExtender的实现, 因为还有一篇Framework, 所以本文的k8s代码切到1.18版本 1. 设计思路 1.1 实现机制 S 阅读全文
posted @ 2020-02-01 22:20 8小时 阅读 (33) 评论 (0) 编辑
摘要:抢占调度是分布式调度中一种常见的设计,其核心目标是当不能为高优先级的任务分配资源的时候,会通过抢占低优先级的任务来进行高优先级的调度,本文主要学习k8s的抢占调度以及里面的一些有趣的算法 1. 抢占调度设计 1.1 抢占原理 抢占调度原理其实很简单就是通过高优先级的pod抢占低优先级的pod资源,从 阅读全文
posted @ 2020-01-20 10:55 8小时 阅读 (151) 评论 (0) 编辑
摘要:在分布式调度中为了保证服务的高可用和容灾需求,通常都会讲服务在多个区域、机架、节点上平均分布,从而避免单点故障引起的服务不可用,在k8s中自然也实现了该算法即SelectorSpread, 本文就来学习下这个算法的底层实现细节 1. 设计要点 1.1 zone与node zone即代表一个区域,no 阅读全文
posted @ 2020-01-18 13:54 8小时 阅读 (145) 评论 (0) 编辑
摘要:优选阶段通过分map/reduce模式来实现多个node和多种算法的并行计算,并且通过基于二级索引来设计最终的存储结果,从而达到整个计算过程中的无锁设计,同时为了保证分配的随机性,针对同等优先级的采用了随机的方式来进行最终节点的分配,如果大家后续有类似的需求,不妨可以借鉴借鉴 1. 设计基础 1.1 阅读全文
posted @ 2020-01-17 16:43 8小时 阅读 (74) 评论 (0) 编辑
摘要:Scheduler中在进行node选举的时候会首先进行一轮预选流程,即从当前集群中选择一批node节点,本文主要分析k8s在预选流程上一些优秀的筛选设计思想,欢迎大佬们指正 1. 基础设计 1.1 预选场景 预选顾名思义就是从当前集群中的所有的node中,选择出满足当前pod资源和亲和性等需求的no 阅读全文
posted @ 2020-01-16 17:59 8小时 阅读 (128) 评论 (0) 编辑
摘要:ScheduleAlgorithm是一个接口负责为pod选择一个合适的node节点,本节主要解析如何实现一个可扩展、可配置的通用算法框架来实现通用调度,如何进行算法的统一注册和构建,如何进行metadata和调度流程上下文数据的传递 1. 设计思考 1.1 调度设计 1.1.1 调度与抢占 当接收到 阅读全文
posted @ 2020-01-15 10:48 8小时 阅读 (132) 评论 (0) 编辑
摘要:SchedulerCache是kubernetes scheduler中负责本地数据缓存的核心数据结构, 其实现了Cache接口,负责存储从apiserver获取的数据,提供给Scheduler调度器获取Node的信息,然后由调度算法的决策pod的最终node节点,其中Snapshot和节点打散算法 阅读全文
posted @ 2020-01-14 10:04 8小时 阅读 (189) 评论 (0) 编辑
摘要:SchedulingQueue是kubernetes scheduler中负责进行等待调度pod存储的对,Scheduler通过SchedulingQueue来获取当前系统中等待调度的Pod,本文主要讨论SchedulingQueue的设计与实现的各种实现, 了解探究其内部实现与底层源码,本系列代码 阅读全文
posted @ 2020-01-13 11:04 8小时 阅读 (163) 评论 (0) 编辑
摘要:资源调度基础 scheudler是kubernetes中的核心组件,负责为用户声明的pod资源选择合适的node,同时保证集群资源的最大化利用,这里先介绍下资源调度系统设计里面的一些基础概念 基础任务资源调度 基础的任务资源调度通常包括三部分: | 角色类型 | 功能 | | | | | node 阅读全文
posted @ 2020-01-09 17:15 8小时 阅读 (163) 评论 (0) 编辑
摘要:基础筑基 基于线程的编程语言中的一些设计 ThreadGroup ThreadGroup是基于线程并发的编程语言中常用的一个概念,当一个线程派生出一个子线程后通常会加入父线程的线程组(未指定线程组的情况下)中, 最后可以通过ThreadGroup来控制一组线程的退出等操作, 然后在go语言中goro 阅读全文
posted @ 2020-01-06 10:41 8小时 阅读 (196) 评论 (0) 编辑