基于K8s调度器实现自定义调度
就是按照约定写代码，和我最开始写mysql UDF，hive自定义函数，都是一样的。
官方配置多个调度器：
https://kubernetes.io/zh/docs/tasks/extend-kubernetes/configure-multiple-schedulers/
背景：为了实现基于K8s的数据库服务的调度功能
难点： 1，原生K8s的资源只有cpu和mem，但是MySQL调度需要考虑磁盘资源，
2，原生调度策略不符合线上环境，比如线上容器和物理机存在混跑，服务存在定制策略等
方案： 1，基于K8s 调度器的源码进行修改，定制化调度器，所有服务器调度时指定新调度器实现自定义策略
2，将需要的元数据，比如MySQL端口容量，服务器磁盘容量等信息通过脚本同步到K8s中的annotations中
流程：
1，下载调度器源码至本地服务器
可从官方下载，此处原为内部git地址，省去
2，本地修改完成后，编译，
CGO_ENABLED=0 GOOS=linux GOARCH=amd64 make all WHAT=cmd/kube-scheduler/
3，编译完成&&没有报错，打包images 并 push到仓库
docker build -f Dockerfile -t registry.xxxx.xxxx.com.cn/xxxx/scheduler:1.0 . docker login registry.xxx.xxx.com.cn -u xxxx docker push registry.xxxx.xxxx.com.cn/xxxx/scheduler
4，在南北K8s集群上找到运行着的 scheduler，并delete,scheduler以deployment方式部署，delete完成后确认下新scheduler是否running即可
kubectl get pod -n kube-system | grep kube-scheduler-db kubectl delete pod kube-scheduler-db-xxxxxx-xxxxxxx -n kube-system
5，至此 scheduler 更新流程流程，之后可以观察修改生效情况，重大更新建议先测试再正式上线
修改的细节（举例）
scheduler 的目录结构如下
我们需要修改的部分集中在\kubernetes-develop\pkg\scheduler\algorithm目录下，
该目录下有两个文件夹，这两个目录下每一个文件代表着一种策略
predicates 此目录下为初选策略，初选即为过滤，通过此策略将不满足硬性标准的服务器淘汰
priorities 此目录下为优选策略，优选即为打分，通过此策略将所有通过初选的服务器打分，选取分数最高服务器进行调度
predicates 中以xxxx_disk_predicate.go 为例，此策略过滤不满足MySQL磁盘空间要求的服务器,实际代码以线上为准
package predicates
import (
"fmt"
"k8s.io/api/core/v1"
"k8s.io/kubernetes/pkg/scheduler/algorithm"
schedulercache "k8s.io/kubernetes/pkg/scheduler/cache"
)
func NevisDiskPredicate(pod *v1.Pod, meta algorithm.PredicateMetadata, nodeInfo *schedulercache.NodeInfo) (bool, []algorithm.PredicateFailureReason, error) {
var remainDiskPercentage int64 = 10 //disk最少剩余10%
var requestedDisk int64 //node总的已request的值
var HoldDiskMin int64 = 250 //剩余容量保底值
node := nodeInfo.Node() //这里获得的是正在进行判断的node实例
if node == nil { // node无效就直接退出
return false, nil, fmt.Errorf("node not found")
}
//获取服务类型 关于磁盘调度目前只对MySQL和pika生效，所以需要判断服务器的资源池
scheduleService := pod.Annotations[AnnotationSchedulerService]
requestDiskCurrentPod := NevisPodDISKRequest(pod) // 当前POD的disk request
for _, p := range nodeInfo.Pods() { // 获取node上每个pod的diskrequest之和 requestedDISK
requestDiskPerPod := xxxxPodDISKRequest(p)
requestedDisk += requestDiskPerPod
}
nodeFreeDisk := xxxxNodeDISKFree(node) //获取node的free disk
nodeTotalDisk := xxxxNodeDISKTotal(node) //获取node的total disk
//NevisNodeDISKFree 和 NevisNodeDISKTotal 函数在utils.go里，具体的是获取node的annotations数据，
//这里需要注意线上的annotations 值的各种状态都需要考虑，缺省值需要设定，否则会影响之后的判断
// 过滤策略
// 1，已经request 加 即将request的 要小于 totaldisk的90%，
// 2，freedisk 减 即将request的 要大于 totaldisk的10%
// 3，考虑到有些服务器磁盘容量很小（<4T），增加最低保留空间 为 250G
// 策略需要注意线上是容器和物理机混跑状态，需要考虑的全面一些，
HoldDisk := int64(nodeTotalDisk * remainDiskPercentage/100)
if HoldDisk < HoldDiskMin {
HoldDisk = HoldDiskMin
}
if ((scheduleService == SchedulerServiceMySQL) || (scheduleService == SchedulerServicePika)){
//进行资源池判断，不满足条件的服务器直接过滤
// 关于服务类型的判断应该放在函数的入口，以避免无效的运算，这里是举例就不修改了
if (int64(requestedDisk) + int64(requestDiskCurrentPod) > int64(nodeTotalDisk - HoldDisk)|| ((nodeFreeDisk - int64(requestDiskCurrentPod)) < HoldDisk)) {
return false, []algorithm.PredicateFailureReason{
&PredicateFailureError{
PredicateName: "xxxxDiskPredicate",
PredicateDesc: fmt.Sprintf("node doesn't has enough DISK request %d, requested %d", requestDiskCurrentPod, requestedDISK),
},
}, nil
}
return true, nil, nil
}
return true, nil, nil
}
func init() {
predicates := Ordering()
predicates = append(predicates, NevisDiskPred)
SetPredicatesOrdering(predicates)
}
priorities 中以more_mem.go 为例，此策略将给有更多空闲内存的服务器打高分，实际代码以线上为准
package priorities
import (
"fmt"
"strconv"
"k8s.io/klog"
"k8s.io/api/core/v1"
"k8s.io/apimachinery/pkg/labels"
v1helper "k8s.io/kubernetes/pkg/apis/core/v1/helper"
schedulerapi "k8s.io/kubernetes/pkg/scheduler/api"
schedulercache "k8s.io/kubernetes/pkg/scheduler/cache"
)
func CalculateNodeMoreMemMap(pod *v1.Pod, meta interface{}, nodeInfo *schedulercache.NodeInfo) (schedulerapi.HostPriority, error) {
node := nodeInfo.Node()
if node == nil {
return schedulerapi.HostPriority{}, fmt.Errorf("node not found")
}
var allMemory int64 //服务器的总内存
var usedMemory int64 //服务器已使用内存
allMemory = NevisNodeMemAll(node)
//此处是通过node的10255端口获取node的实例mem使用量，讲道理逻辑里应该尽量不适用这种调用，因为可能拖慢调度的速度，因为这是所有过初选的node都需要执行的
// 但是由于数据库本身不会存在非常频繁的调度，而且实现非常简单，所以如此实现了
resp, err := (&http.Client{Timeout: 5 * time.Second}).Get("http://" + node.Status.Addresses[0].Address + ":10255/stats")
if err != nil {
klog.Warningf("get node status failed: %s", err)
} else {
var ci cv1.ContainerInfo
if err := json.NewDecoder(resp.Body).Decode(&ci); err != nil {
resp.Body.Close()
klog.Warningf("decode node status failed: %s", err)
} else {
usedMemory = int64(ci.Stats[0].Memory.RSS)
}
}
// 打分策略，如果内存没有使用，即为10分，全部用完为0分，按比例分配
count := 10 - (usedMemory / allMemory * int64(10))
// 这里在打log。相关的log可通过 kubectl logs kube-scheduler-db-xxxx-xxxx -n kube-system 查看
klog.Warningf("message i want", count)
//返回打分集合，注意下格式即可
return schedulerapi.HostPriority{
Host: node.Name,
Score: int(count),
}, nil
}
// 实际去计算打分结果的时候 是采用map - reduce的方式，了解hadoop原理的应该知道，这里不多说，感兴趣可自行了解
var CalculateNodeMoreMemReduce = NormalizeReduce(schedulerapi.MaxPriority, false)
程序中还包含一些工具类，放在utils.go下，此处省略
在写完所有的调度策略后，别急还没完，我们还需要去工厂函数里注册下我们新加的策略
位置在\pkg\scheduler\algorithmprovider\defaults\defaults.go
在 func defaultPredicates() 里增加关于初选策略的函数，如
factory.RegisterFitPredicate(predicates.xxxDiskPred, predicates.xxxDiskPredicate),
在 func defaultPriorities() 里增加关于优选策略的函数，如
factory.RegisterPriorityFunction2("MoreCpu", priorities.CalculateNodeMoreMemMap, priorities.CalculateNodeMoreMemReduce, 1000000),
在优选策略中需要注意的是传入的最后一个值为权重，此处为1000000，用于设置不同优选策略的权重，一个node的实际分数为所有 优选策略分数 * 权重 后之和
这里设置为如此大的数是为了让此策略成为 最重要的决定值，其余的策略目前我们并不关心，在之后的开发中可以是当修改，
其他自带的优选策略共有6种，除了NodePreferAvoidPodsPriority权重为10000外，其余均为1，这几种优选策略也比较好理解，自行看下代码即可，不说了
最后总结下已经做出的修改
初选
函数名：xxxxDiskPredicate
作用服务： MySQL && pika
目标：过滤所有不满足磁盘空间要求的服务器，
策略：all_request_disk + request_disk < total_disk * 90%
free_disk - request_disk > total_disk * 10%
函数名：xxxxMemoryMysqlPredicate
作用服务：MySQL
目标：过滤满足内存要求的服务器
策略： free_mem - request_mem > total_mem * 10%
函数名：xxxxCPUPredicate
作用服务：所有
目标：过滤不满足 cpu 要求的服务器
策略：free_cpu > request_cpu
函数名：xxxxMemoryPredicate
作用服务：redis
目标：过滤 不满足 mem 要求的服务器
策略：需要满足redis的降级和非降级两种模式，具体看代码吧，写出来废纸
优选
函数名：CalculateNodeMoreMemMap
作用服务：MySQL
目标：提高 空闲mem多服务器的分数
策略（free-mem / total-mem）* 10 * 权重
https://www.cnblogs.com/zzyhogwarts/p/15077619.html
浙公网安备 33010602011771号