018.Kubernetes二进制集群插件metrics-dashboard

一 Metrics部署

1.1 Metrics介绍

Kubernetes的早期版本依靠Heapster来实现完整的性能数据采集和监控功能，Kubernetes从1.8版本开始，性能数据开始以Metrics API的方式提供标准化接口，并且从1.10版本开始将Heapster替换为Metrics Server。在Kubernetes新的监控体系中，Metrics Server用于提供核心指标（Core Metrics），包括Node、Pod的CPU和内存使用指标。

对其他自定义指标（Custom Metrics）的监控则由Prometheus等组件来完成。

1.2 开启聚合层

有关聚合层知识参考：https://blog.csdn.net/liukuan73/article/details/81352637

本实验前置步骤已开启。

1.3 获取部署文件

[root@master01 ~]# cd /opt/k8s/work/
[root@master01 work]# mkdir metrics
[root@master01 work]# cd metrics/
[root@master01 metrics]# wget https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.3.6/components.yaml
[root@master01 metrics]# vi components.yaml

……
apiVersion: apps/v1
kind: Deployment
……
spec:
  replicas: 3							#根据集群规模调整副本数
……
    spec:
      hostNetwork: true
……
      - name: metrics-server
        image: k8s.gcr.io/metrics-server-amd64:v0.3.6
        imagePullPolicy: IfNotPresent
        args:
          - --cert-dir=/tmp
          - --secure-port=4443
          - --kubelet-insecure-tls
          - --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP	#追加此args
……

提示：本步骤操作仅需要在master01节点操作。

1.4 正式部署

[root@master01 metrics]# kubectl apply -f components.yaml
[root@master01 metrics]# kubectl -n kube-system get pods -l k8s-app=metrics-server
NAME                              READY   STATUS    RESTARTS   AGE
metrics-server-7b97647899-gm7j2   1/1     Running   0          9s
metrics-server-7b97647899-lqwwg   1/1     Running   0          9s
metrics-server-7b97647899-mrd84   1/1     Running   0          9s

提示：本步骤操作仅需要在master01节点操作。

1.5 查看资源监控

[root@master01 metrics]# kubectl top nodes
[root@master01 metrics]# kubectl top pods --all-namespaces

提示：Metrics Server提供的数据也可以供HPA控制器使用，以实现基于CPU使用率或内存使用值的Pod自动扩缩容功能。

二 Nginx ingress部署

为了便于访问，本实验建议采用域名访问dashboard，域名由ingress进行暴露，因此建议提前部署ingress。具体部署参考《附020.Nginx-ingress部署及使用》，建议采用社区版。

三 dashboard部署

3.1 设置标签

[root@master01 ~]# cd /opt/k8s/work/dashboard
[root@master01 dashboard]# kubectl label nodes master01 dashboard=yes
[root@master01 dashboard]# kubectl label nodes master02 dashboard=yes
[root@master01 dashboard]# kubectl label nodes master03 dashboard=yes

提示：本步骤操作仅需要在master01节点操作。

3.2 创建证书

本实验已获取免费一年的证书，免费证书获取可参考：https://freessl.cn。

[root@master01 ~]# mkdir -p /opt/k8s/work/dashboard/certs
[root@master01 work]# cd /opt/k8s/work/dashboard/certs
[root@master01 certs]# mv k8s.odocker.com tls.crt
[root@master01 certs]# mv k8s.odocker.com tls.crt
[root@master01 certs]# ll
total 8.0K
-rw-r--r-- 1 root root 1.9K Jun  8 11:46 tls.crt
-rw-r--r-- 1 root root 1.7K Jun  8 11:46 tls.ke

提示：也可手动如下操作创建自签证书：

[root@master01 ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=ZheJiang/L=HangZhou/O=Xianghy/OU=Xianghy/CN=k8s.odocker.com"

3.3 手动创建secret

[root@master01 ~]# kubectl create ns kubernetes-dashboard	#v2版本dashboard独立ns
[root@master01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file=/opt/k8s/work/dashboard/certs -n kubernetes-dashboard
[root@master01 ~]# kubectl get secret kubernetes-dashboard-certs -n kubernetes-dashboard -o yaml		#查看新证书

提示：本步骤操作仅需要在master01节点操作。

3.4 下载yaml

[root@master01 ~]# cd /opt/k8s/work/dashboard/
[root@master01 dashboard]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.1/aio/deploy/recommended.yaml

提示：本步骤操作仅需要在master01节点操作。

3.5 修改yaml

[root@master01 dashboard]# vi recommended.yaml

……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort				        #新增
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001				#新增
  selector:
    k8s-app: kubernetes-dashboard
---
……						        #如下全部注释
#apiVersion: v1
#kind: Secret
#metadata:
#  labels:
#    k8s-app: kubernetes-dashboard
#  name: kubernetes-dashboard-certs
#  namespace: kubernetes-dashboard
#type: Opaque
……
kind: Deployment
……
  replicas: 3					#适当调整为3副本
……
          imagePullPolicy: IfNotPresent		#修改镜像下载策略
          ports:
            - containerPort: 8443
              protocol: TCP
          args:
            - --auto-generate-certificates
            - --namespace=kubernetes-dashboard
            - --tls-key-file=tls.key
            - --tls-cert-file=tls.crt
            - --token-ttl=3600			#追加如上args
……
      nodeSelector:
        "beta.kubernetes.io/os": linux
        "dashboard": "yes"			        #部署在master节点
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: dashboard-metrics-scraper
  name: dashboard-metrics-scraper
  namespace: kubernetes-dashboard
spec:
  type: NodePort				        #新增
  ports:
    - port: 8000
      targetPort: 8000
      nodePort: 30000				#新增
  selector:
    k8s-app: dashboard-metrics-scraper
……
   replicas: 3					#适当调整为3副本
……
      nodeSelector:
        "beta.kubernetes.io/os": linux
        "dashboard": "yes"			        #部署在master节点
……

提示：本步骤操作仅需要在master01节点操作。

3.6 正式部署

[root@master01 dashboard]# kubectl apply -f recommended.yaml
[root@master01 dashboard]# kubectl get deployment kubernetes-dashboard -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get services -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get pods -o wide -n kubernetes-dashboard

提示：master01 NodePort 30001/TCP映射到 dashboard pod 443 端口。

提示：本步骤操作仅需要在master01节点操作。

3.7 创建管理员账户

提示：dashboard v2版本默认没有创建具有管理员权限的账户，可如下操作创建。

[root@master01 dashboard]# vi dashboard-admin.yaml

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kubernetes-dashboard

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard

[root@master01 dashboard]# kubectl apply -f dashboard-admin.yaml

提示：本步骤操作仅需要在master01节点操作。

四 ingress暴露dashboard

4.1 创建ingress tls

[root@master01 ~]# cd /opt/k8s/work/dashboard/certs
[root@master01 certs]# kubectl -n kubernetes-dashboard create secret tls kubernetes-dashboard-tls --cert=tls.crt --key=tls.key
[root@master01 certs]# kubectl -n kubernetes-dashboard describe secrets kubernetes-dashboard-tls

提示：本步骤操作仅需要在master01节点操作。

4.2 创建ingress策略

[root@master01 ~]# cd /opt/k8s/work/dashboard/
[root@master01 dashboard]# vi dashboard-ingress.yaml

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: kubernetes-dashboard-ingress
  namespace: kubernetes-dashboard
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/use-regex: "true"
    nginx.ingress.kubernetes.io/ssl-passthrough: "true"
    nginx.ingress.kubernetes.io/rewrite-target: /
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    #nginx.ingress.kubernetes.io/secure-backends: "true"
    nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "600"
    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_ssl_session_reuse off;
spec:
  rules:
  - host: k8s.odocker.com
    http:
      paths:
      - path: /
        backend:
          serviceName: kubernetes-dashboard
          servicePort: 443
  tls:
  - hosts:
    - k8s.odocker.com
    secretName: kubernetes-dashboard-tls

[root@master01 dashboard]# kubectl apply -f dashboard-ingress.yaml
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get ingress

提示：本步骤操作仅需要在master01节点操作。

五 访问Dashboard

5.1 导入证书

将k8s.odocker.com导入浏览器，并设置为信任，导入操作略。

5.2 创建kubeconfig文件

使用token相对复杂，可将token添加至kubeconfig文件中，使用KubeConfig文件访问dashboard。

[root@master01 dashboard]# ADMIN_SECRET=$(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')
[root@master01 dashboard]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}')

[root@master01 dashboard]# kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/cert/ca.pem \
  --embed-certs=true \
  --server=172.24.8.100:16443 \
  --kubeconfig=local-binkek8s-dashboard-admin.kubeconfig	# 设置集群参数
[root@master01 dashboard]# kubectl config set-credentials dashboard_user \
  --token=${DASHBOARD_LOGIN_TOKEN} \
  --kubeconfig=local-binkek8s-dashboard-admin.kubeconfig	# 设置客户端认证参数，使用上面创建的 Token
[root@master01 dashboard]# kubectl config set-context default \
  --cluster=kubernetes \
  --user=dashboard_user \
  --kubeconfig=local-binkek8s-dashboard-admin.kubeconfig	# 设置上下文参数
[root@master01 dashboard]# kubectl config use-context default --kubeconfig=local-binkek8s-dashboard-admin.kubeconfig				# 设置默认上下文

提示：本步骤操作仅需要在master01节点操作。

将local-binkek8s-dashboard-admin.kubeconfig文件导入，以便于浏览器使用该文件登录。

5.3 测试访问Dashboard

本实验采用ingress所暴露的域名：https://k8s.odocker.com 方式访问。

使用local-hakek8s-dashboard-admin.kubeconfig文件访问：

提示：

更多dashboard访问方式及认证可参考《附004.Kubernetes Dashboard简介及使用》。

dashboard登录整个流程可参考：https://www.cnadn.net/post/2613.html