摘要:最近闲下来,打算把Knative的核心组件Serving给学习下,会继续采用k8s源码学习的方式,管中窥豹以小击大,学习serving的主要目标: 可观测性基础设施、自动伸缩、流量管理等核心组件的设计与实现,今天先简单臆测下,感兴趣的同学, 一起来学习吧 1. 基于云原生的单体应用构建 大多数公司的 阅读全文
posted @ 2020-04-24 14:40 8小时 阅读(54) 评论(0) 推荐(0) 编辑
摘要:K8s中的批处理任务模块主要是由Job控制器完成,今天我们就来关注下其底层的关键设计,包括完成状态、并行模式、并行策略等关键机制 1. 基础概念 在聊k8s的任务模块的实现的时候,我们先看一下传统的任务系统的设计与实现,然后聊下基于k8s的基础的概念 1.1 传统的任务系统设计 传统的任务系统设计主 阅读全文
posted @ 2020-03-31 11:24 8小时 阅读(46) 评论(0) 推荐(0) 编辑
摘要:StatefulSet是k8s中有状态应用管理的标准实现,今天就一起来了解下其背后设计的场景与原理,从而了解其适用范围与场景 1. 基础概念 首先介绍有状态应用里面的需要考虑的一些基础的事情,然后在下一章我们再去看statefulSet的关键实现 1.1 有状态与无状态 在日常开发的应用中,通常可以 阅读全文
posted @ 2020-03-29 11:04 8小时 阅读(138) 评论(0) 推荐(0) 编辑
摘要:在kubernetes的scheduler调度器的设计中为用户预留了两种扩展机制SchdulerExtender与Framework,本文主要浅谈一下SchdulerExtender的实现, 因为还有一篇Framework, 所以本文的k8s代码切到1.18版本 1. 设计思路 1.1 实现机制 S 阅读全文
posted @ 2020-02-01 22:20 8小时 阅读(221) 评论(0) 推荐(0) 编辑
摘要:抢占调度是分布式调度中一种常见的设计,其核心目标是当不能为高优先级的任务分配资源的时候,会通过抢占低优先级的任务来进行高优先级的调度,本文主要学习k8s的抢占调度以及里面的一些有趣的算法 1. 抢占调度设计 1.1 抢占原理 抢占调度原理其实很简单就是通过高优先级的pod抢占低优先级的pod资源,从 阅读全文
posted @ 2020-01-20 10:55 8小时 阅读(232) 评论(0) 推荐(0) 编辑
摘要:在分布式调度中为了保证服务的高可用和容灾需求,通常都会讲服务在多个区域、机架、节点上平均分布,从而避免单点故障引起的服务不可用,在k8s中自然也实现了该算法即SelectorSpread, 本文就来学习下这个算法的底层实现细节 1. 设计要点 1.1 zone与node zone即代表一个区域,no 阅读全文
posted @ 2020-01-18 13:54 8小时 阅读(217) 评论(0) 推荐(0) 编辑
摘要:优选阶段通过分map/reduce模式来实现多个node和多种算法的并行计算,并且通过基于二级索引来设计最终的存储结果,从而达到整个计算过程中的无锁设计,同时为了保证分配的随机性,针对同等优先级的采用了随机的方式来进行最终节点的分配,如果大家后续有类似的需求,不妨可以借鉴借鉴 1. 设计基础 1.1 阅读全文
posted @ 2020-01-17 16:43 8小时 阅读(100) 评论(0) 推荐(0) 编辑
摘要:Scheduler中在进行node选举的时候会首先进行一轮预选流程,即从当前集群中选择一批node节点,本文主要分析k8s在预选流程上一些优秀的筛选设计思想,欢迎大佬们指正 1. 基础设计 1.1 预选场景 预选顾名思义就是从当前集群中的所有的node中,选择出满足当前pod资源和亲和性等需求的no 阅读全文
posted @ 2020-01-16 17:59 8小时 阅读(153) 评论(0) 推荐(0) 编辑
摘要:ScheduleAlgorithm是一个接口负责为pod选择一个合适的node节点,本节主要解析如何实现一个可扩展、可配置的通用算法框架来实现通用调度,如何进行算法的统一注册和构建,如何进行metadata和调度流程上下文数据的传递 1. 设计思考 1.1 调度设计 1.1.1 调度与抢占 当接收到 阅读全文
posted @ 2020-01-15 10:48 8小时 阅读(177) 评论(0) 推荐(0) 编辑
摘要:SchedulerCache是kubernetes scheduler中负责本地数据缓存的核心数据结构, 其实现了Cache接口,负责存储从apiserver获取的数据,提供给Scheduler调度器获取Node的信息,然后由调度算法的决策pod的最终node节点,其中Snapshot和节点打散算法 阅读全文
posted @ 2020-01-14 10:04 8小时 阅读(253) 评论(0) 推荐(1) 编辑