kubernetes HPA

目录

• Kubernetes弹性伸缩简介
• HPA简介
• Metrics Server
  • 1. 生成metrics-server证书
  • 2. 修改kubernetes master 配置文件
  • 3. 安装metrics-server
• HPA配置示例

Kubernetes弹性伸缩简介

通过手工执行kubectl scale命令或者通过修改deployment的replicas数量，可以实现Pod扩缩容。我们还可以通过定时任务的方式在一些可预见的业务高峰场景实现Pod的定时伸缩。然而在更多的应用场景当中，业务的请求量峰值其实是不可控的。这就需要我们借助一些自动伸缩的手段，例如通过监控Pod的资源使用率、访问的QPS等指标来实现自动的弹性伸缩。

Kubernetes从两个维度上支持自动的弹性伸缩：

• Cluster AutoScaler：处理kubernetes集群node节点的伸缩，其严重依赖IaaS厂商提供的云主机服务和资源监控服务
• HPA(Horizontal Pod Autoscaler)：处理Pod副本集的自动弹性伸缩，其依赖监控服务采集到的资源监控指标数据

HPA简介

HPA本质上也是Kubernetes的一种资源对象。通过周期性检查Deployment控制的目标Pod 的相关监控指标的变化情况，来确定是否需要针对性地调整目标Pod的副本数。

通常应用的扩缩容都是由cpu或内存的使用率实现的。事实上在早期的kubernetes版本当中，hpa只支持基于cpu使用的率的扩缩容，而hpa获取到的cpu使用率指标则来源于kubernetes自带的监控系统heapster。

而从kubernetes 1.8版本开始，资源的使用指标改为通过metrics api获取。而heapster当前已经废弃。

Kubernetes将资源指标分为了两种：

• core metrics（核心指标）： 采集每个节点上的kubelet公开的summary api中的指标信息，通常只包含cpu、内存使用率信息
• custom metrics（自定义指标）：允许用户从外部的监控系统当中采集自定义指标，如应用的qps等

在autoscaling/v1版本中只支持CPUUtilizationPercentage一种指标，在autoscaling/v2beta1中增加支持custom metrics

下面以cpu使用率指标来说明hpa是如何来根据指标使用伸缩的：

CPUUtilizationPercentage即cpu使用率的百分比。hpa判断的标准是目标Pod所有副本自身的CPU利用率的平均值。一个Pod自身的CPU利用率是该Pod当前的CPU的使用量除以它的CPU Request的值。

比如定义一个Pod的CPU Request为0.4，而当前的Pod的CPU使用量为0.2，则它的CPU使用率为 50%，这样计算一个Deployment的所有Pod的cpu使用率的平均值。如果某一刻该值超过80%，则意味着当前的Pod 副本数很可能不足以支撑接来下更多的请求，需要进行动态扩容，而当前请求高峰时段过去后，Pod的 CPU 利用率又会降下来，此时对应的Pod副本数应该自动减少到一个合理的水平。

CPUUtilizationPercentage计算过程中使用到的Pod的CPU使用量通常是1min内的平均值。

Metrics Server

前面我们说到，核心指标的采集是通过metrics api获取，而Metrics Server实现了Resurce Metrics API。Metrics Server 是集群范围资源使用数据的聚合器。由Metrics Server从每个节点上的Kubelet公开的Summary API 中采集指标信息。也就是说，如果需要使用kubernetes的HPA功能，需要先安装Metrics Server。

1. 生成metrics-server证书

创建metrics-server-csr.json文件，内容如下：

{
  "CN": "aggregator",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Hubei",
      "L": "Wuhan",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

生成metrics-server证书和密钥

cfssl gencert --ca ca.pem --ca-key ca-key.pem --config ca-config.json --profile kubernetes metrics-server-csr.json | cfssljson --bare metrics-server

关于生成证书指令中，使用的ca.pem ca-key.pem以及ca-config.json,可参考《手动部署一个单节点kubernetes》

2. 修改kubernetes master 配置文件

在kube-apiserver的启动指令中添加如下参数：

kube-apiserver
  ...
  --requestheader-client-ca-file=/etc/kubernetes/ssl/ca.pem \
  --requestheader-allowed-names=aggregator \
  --requestheader-extra-headers-prefix=X-Remote-Extra- \
  --requestheader-group-headers=X-Remote-Group \
  --requestheader-username-headers=X-Remote-User \
  --proxy-client-cert-file=/etc/kubernetes/ssl/metrics-server.pem \
  --proxy-client-key-file=/etc/kubernetes/ssl/metrics-server-key.pem \

在kube-controller-manager的启动指令中添加如下参数：

kube-controller-manager
  ...
  --horizontal-pod-autoscaler-use-rest-clients=true \
  --horizontal-pod-autoscaler-downscale-delay=5m0s \
  --horizontal-pod-autoscaler-upscale-delay=1m0s \
  --horizontal-pod-autoscaler-sync-period=20s \
  ...

配置项说明：

• horizontal-pod-autoscaler-use-rest-clients： 开启基于rest-clients的自动伸缩
• horizontal-pod-autoscaler-sync-period：自动伸缩的检测周期为20s，默认为30s
• horizontal-pod-autoscaler-upscale-delay：当检测到满足扩容条件时，延迟多久开始缩容，即该满足的条件持续多久开始扩容，默认为3分钟
• horizontal-pod-autoscaler-downscale-delay：当检测到满足缩容条件时，延迟多久开始缩容，即该满足条件持续多久开始缩容，默认为5分钟

3. 安装metrics-server

metrics-server代码仓库地址： https://github.com/kubernetes-incubator/metrics-server

当前最新的release版本为v0.3.6，下载最新版本。然后执行如下操作：

cd deploy/1.8+/

# 修改镜像地址
sed -i 's@k8s.gcr.io/metrics-server-amd64:v0.3.6@gcr.azk8s.cn/google_containers/metrics-server-amd64:v0.3.6@g' metrics-server-deployment.yaml

# 配置command

编辑metrics-server-deployment.yaml，配置如下内容：
...
      containers:
      - name: metrics-server
        image: hub.breezey.top/library/metrics-server-amd64:v0.3.6
        command:
        - /metrics-server
        - --kubelet-insecure-tls
        - --kubelet-preferred-address-types=InternalIP
        imagePullPolicy: Always
...
kubectl apply -f ./

以上操作会在kube-system命名空间启动一个名称前缀为metrics-server的pods以提供实时的数据采集。

在metrics-server-deployment.yaml中添加了一个command，加了两个kubelet的配置项，如果不添加此项，metrics-server无法采集数据指标，会抛出异常：
x509: certificate signed by unknown authority, unable to fully scrape metrics from source kubelet_summary

验证安装：

# 在apiservice中可以看到多了一个接口
kubectl get apiservice
...
v1beta1.metrics.k8s.io                  2019-10-17T03:14:46Z
...

# 通过访问metrics.k8s.io接口，如能正常访问代表安装成功

kubectl get --raw "/apis/metrics.k8s.io/v1beta1" | jq .        
{
  "kind": "APIResourceList",
  "apiVersion": "v1",
  "groupVersion": "metrics.k8s.io/v1beta1",
  "resources": [
    {
      "name": "nodes",
      "singularName": "",
      "namespaced": false,
      "kind": "NodeMetrics",
      "verbs": [
        "get",
        "list"
      ]
    },
    {
      "name": "pods",
      "singularName": "",
      "namespaced": true,
      "kind": "PodMetrics",
      "verbs": [
        "get",
        "list"
      ]
    }
  ]
}

还可以通过如下接口获取相应的监控指标：

kubectl get --raw "/apis/metrics.k8s.io/v1beta1/nodes" | jq .
...
    {
      "metadata": {
        "name": "cn-beijing.i-2zeacc5qws1k6yr96yf6",
        "selfLink": "/apis/metrics.k8s.io/v1beta1/nodes/cn-beijing.i-2zeacc5qws1k6yr96yf6",
        "creationTimestamp": "2019-10-21T07:46:44Z"
      },
      "timestamp": "2019-10-21T07:46:00Z",
      "window": "1m0s",
      "usage": {
        "cpu": "3254m",
        "memory": "47416324Ki"
      }
    }
...


kubectl get --raw "/apis/metrics.k8s.io/v1beta1/pods" | jq .
...
    {
      "metadata": {
        "name": "arrow-feature-userprofile-975-6cb874c85f-h2gfx",
        "namespace": "bigdata",
        "selfLink": "/apis/metrics.k8s.io/v1beta1/namespaces/bigdata/pods/arrow-feature-userprofile-975-6cb874c85f-h2gfx",
        "creationTimestamp": "2019-10-21T07:48:25Z"
      },
      "timestamp": "2019-10-21T07:48:00Z",
      "window": "1m0s",
      "containers": [
        {
          "name": "arrow-feature-userprofile",
          "usage": {
            "cpu": "125m",
            "memory": "2560436Ki"
          }
        }
      ]
    }
...

确保这里可以正常获取指标，否则检查metrics-server日志，看是否抛出了相关异常

HPA配置示例

在github上有一个开源项目，叫作k8s-prom-hpa，项目地址为：https://github.com/stefanprodan/k8s-prom-hpa。

在下一节《kubernetes HPA使用自定义指标》中，我们会说到这个项目。现在在这个项目中，有一个目录名为podinfo。这是一个golang小程序示例。

我们获取这个demo，并部署：

# 修改podinfo的版本为2.0.0版本
sed -i 's/0.0.1/2.0.0' podinfo/pidinfo-dep.yaml

# 修改podinfo-dep.yaml文件，去掉如下command部分：
...
        #command:
        #  - ./podinfo
        #  - -port=9898
        #  - -logtostderr=true
        #  - -v=2
...


kubectl apply -f podinfo/podinfo-dep.yaml,podinfo/podinfo-svc.yaml,podinfo/podinfo-ingress.yaml

通过其ingress配置文件，可以看到其对外暴露host名称为podinfo.weavedx.com，我们可以通过绑定主机名的方式来访问该应用。

在我的测试环境中，因为使用的ingress是traefik，而不是官方的nginx，所以我还需要修改kubernetes.io/ingress.class这个annotations为traefik

接下来，为该demo应用添加一个hpa，内容如下：

apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: podinfo
spec:
  scaleTargetRef:
    apiVersion: extensions/v1beta1
    kind: Deployment
    name: podinfo
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 80
  - type: Resource
    resource:
      name: memory
      targetAverageValue: 200Mi

当podinfo的所有副本的cpu使用率的值超过request限制的80%或者memory的使用率超过200Mi时会触发自动动态扩容行为，扩容或缩容时必须满足一个约束条件是Pod的副本数要介于2与10之间。

执行压力测试：

# install hey
go get -u github.com/rakyll/hey

./go/bin/hey -n 10000 -q 10 -c 5 http://podinfo.weavedx.com

查看hpa相关事件确认扩缩容：

kubectl describe hpa podinfo
...
Events:
  Type     Reason                        Age                 From                       Message
  ----     ------                        ----                ----                       -------
  Normal   SuccessfulRescale             2m                  horizontal-pod-autoscaler  New size: 4; reason: cpu resource utilization (percentage of request) above target
  Normal   SuccessfulRescale             16s                 horizontal-pod-autoscaler  New size: 8; reason: cpu resource utilization (percentage of request) above target

  
kubectl get pods |grep podinfo
#输出：
podinfo-7b46d7c547-284x8                                   1/1       Running   0          31s
podinfo-7b46d7c547-4gkcr                                   1/1       Running   0          23m
podinfo-7b46d7c547-6jnqk                                   1/1       Running   0          31s
podinfo-7b46d7c547-8xt7p                                   1/1       Running   0          31s
podinfo-7b46d7c547-d6fp7                                   1/1       Running   0          2m
podinfo-7b46d7c547-nwwrj                                   1/1       Running   0          31s
podinfo-7b46d7c547-pj5cs                                   1/1       Running   0          23m
podinfo-7b46d7c547-s5vzn                                   1/1       Running   0          2m