Kubernetes入门（八）
基于K8S部署Jenkins
前面我们已经安装了集群相关插件，包括harbor仓库。有了镜像仓库，那部署应用就很方便。接下来继续部署Jenkins及Gitlab
部署helm
相信很多人都使用过Ubuntu下的ap-get或者CentOS下的yum, 这两者都是Linux系统下的包管理工具。采用apt-get/yum,应用开发者可以管理应用包之间的依赖关系，发布应用；用户则可以以简单的方式查找、安装、升级、卸载应用程序。
我们可以将Helm看作Kubernetes下的apt-get/yum。Helm是Deis (https://deis.com/) 开发的一个用于kubernetes的包管理器。每个包称为一个Chart，一个Chart是一个目录（一般情况下会将目录进行打包压缩，形成name-version.tgz格式的单一文件，方便传输和存储）。
对于应用发布者而言，可以通过Helm打包应用，管理应用依赖关系，管理应用版本并发布应用到软件仓库。
对于使用者而言，使用Helm后不用需要了解Kubernetes的Yaml语法并编写应用部署文件，可以通过Helm下载并在kubernetes上安装需要的应用。
除此以外，Helm还提供了kubernetes上的软件部署，删除，升级，回滚应用的强大功能。
在线安全安装helm
在helm客户端和tiller服务器间建立安全的SSL/TLS认证机制；tiller服务器和helm客户端都是使用同一CA签发的client cert，然后互相识别对方身份。
在deploy节点执行安装步骤：
如果已经安装非安全模式的helm，先卸载：
# helm reset
修改配置：
# vim /etc/ansible/roles/helm/defaults/main.yml
helm_namespace: kube-system
helm_cert_cn: helm001
tiller_sa: tiller
tiller_cert_cn: tiller001
tiller_image: jmgao1983/tiller:v2.12.3
#repo_url: https://kubernetes-charts.storage.googleapis.com
# 如果默认官方repo 网络访问不稳定可以使用如下的阿里云镜像repo
repo_url: https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
#repo_url: http://127.0.0.1:8879
执行安装：
# ansible-playbook /etc/ansible/roles/helm/helm.yml
查看版本：
# helm version --tls
Client: &version.Version{SemVer:"v2.11.0", GitCommit:"2e55dbe1fdb5fdb96b75ff144a339489417b146b", GitTreeState:"clean"}
Server: &version.Version{SemVer:"v2.12.3", GitCommit:"eecf22f77df5f65c823aacd2dbd30ae6c65f186e", GitTreeState:"clean"}
注意：
因为使用了TLS认证，所以helm命令执行分以下两种情况：
执行与tiller服务有关的命令，比如 helm ls helm version helm install等需要加--tls参数
执行其他命令，比如helm search helm fetch helm home等不需要加--tls参数
helm v2.11.0及以上版本，启用环境变量 export HELM_TLS_ENABLE=true，可以都不用加--tls参数
离线安全安装helm
在内网环境中，由于不能访问互联网，无法连接repo地址，使用上述的在线安装helm的方式会报错。因此需要使用离线安装的方法来安装。
创建本地repo：
# mkdir /opt/helm-repo
启动helm repo server，如果有其它服务器访问，则改为本地IP：
# nohup helm serve --address 127.0.0.1:8879 --repo-path /opt/helm-repo &
修改配置：
# vim /etc/ansible/roles/helm/defaults/main.yml
helm_namespace: kube-system
helm_cert_cn: helm001
tiller_sa: tiller
tiller_cert_cn: tiller001
tiller_image: jmgao1983/tiller:v2.12.3
#repo_url: https://kubernetes-charts.storage.googleapis.com
# 如果默认官方repo 网络访问不稳定可以使用如下的阿里云镜像repo
#repo_url: https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
repo_url: http://127.0.0.1:8879
执行安装：
# ansible-playbook /etc/ansible/roles/helm/helm.yml
部署DNS
DNS是k8s集群首先需要部署的，集群中的其他pods使用它提供域名解析服务；主要可以解析集群服务名SVC和Pod hostname。
目前 k8s v1.9+ 版本可以有两个选择：kube-dns 和 coredns，可以选择其中一个部署安装。
安装dns：
安装 kube-dns
# kubectl create -f /etc/ansible/manifests/kubedns
或者安装 coredns
# kubectl create -f /etc/ansible/manifests/coredns
验证dns：
新建一个测试nginx服务
# kubectl run nginx --image=nginx --expose --port=80
service/nginx created
deployment.apps/nginx created
# kubectl get pod |grep nginx
nginx-6f858d4d45-zrmz7 1/1 Running 0 1m
测试pod alpine
# kubectl run test --rm -it --image=alpine /bin/sh
/ # cat /etc/resolv.conf
nameserver 10.68.0.2
search default.svc.cluster.local. svc.cluster.local. cluster.local.
options ndots:5
测试外部域名解析
/ # nslookup www.baidu.com
Server: 10.68.0.2
Address 1: 10.68.0.2 kube-dns.kube-system.svc.cluster.local
Name: www.baidu.com
Address 1: 115.239.211.112
Address 2: 115.239.210.27
部署集群存储
在kubernetes(k8s)中对于存储的资源抽象了两个概念，分别是PersistentVolume(PV)、PersistentVolumeClaim(PVC)。
其中PV是集群中的资源；PVC是对这些资源的请求。而PV又有两种提供方式：静态或动态。这里以NFS存储为例，讲解k8s 众多存储方案中的一个实现。
静态PV
首先我们需要一个NFS服务器，用于提供底层存储。这里省略，因为之前我们已经搭建了一个NFS服务。
创建静态pv，指定容量，访问模式，回收策略，存储类等：
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv001
spec:
capacity:
storage: 10Gi
accessModes:
- ReadWriteMany #读写权限，允许被多个Node挂载
volumeMode: Filesystem
persistentVolumeReclaimPolicy: Recycle
storageClassName: "nfs-class-01"
nfs:
path: /data/k8s #指定共享目录
server: 192.168.30.150 #指定nfs服务器ip
再创建PVC，自动实现绑定：
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: myclaim
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 10Gi
动态PV
在一个工作k8s 集群中，PVC请求会很多，如果每次都需要管理员手动去创建对应的PV资源，那就很不方便。因此K8S还提供了多种 provisioner来动态创建PV，不仅节省了管理员的时间，还可以根据StorageClasses封装不同类型的存储供PVC 选用。项目中的role: cluster-storage目前支持自建nfs和aliyun_nas的动态provisioner。
修改配置文件：
# vim roles/cluster-storage/defaults/main.yml
# 动态存储类型, 目前支持自建nfs和aliyun_nas
storage:
# nfs server 参数
nfs:
enabled: "yes"
server: "192.168.30.150"
server_path: "/data/k8s"
storage_class: "class-nfs-01"
provisioner_name: "nfs-jenkins-01"
# aliyun_nas 参数
aliyun_nas:
enabled: "no" # no表示不启用
server: "xxxxxxxxxxx.cn-hangzhou.nas.aliyuncs.com"
server_path: "/"
storage_class: "class-aliyun-nas-01"
controller_name: "aliyun-nas-controller-01"
创建nfs provisioner：
# ansible-playbook /etc/ansible/roles/cluster-storage/cluster-storage.yml
# kubectl get pod --all-namespaces |grep nfs-jenkins
kube-system nfs-jenkins-01-7ffdb44d9d-mvxkk 1/1 Running 0 1h
验证使用动态PV
创建测试的PVC：
# kubectl apply -f /etc/ansible/manifests/storage/test.yaml
# kubectl get pv
pvc-00de6ba5-4602-11e9-89a3-000c29d20ca7 1Mi RWX Delete Bound default/test-claim class-nfs-01 1h
# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
test-claim Bound pvc-00de6ba5-4602-11e9-89a3-000c29d20ca7 1Mi RWX class-nfs-01 1h
可以发现挂载的时候，nfs-client根据PVC自动创建了一个目录，我们Pod中挂载的/mnt，实际引用的就是该目录，而我们在/mnt下创建的SUCCESS文件，也自动写入到了这个目录下面。
部署ingress
ngress就是从外部访问k8s集群的入口，将用户的URL请求转发到不同的service上。ingress相当于nginx反向代理服务器，它包括的规则定义就是URL的路由信息；它的实现需要部署Ingress controller(比如 traefik ingress-nginx 等)，Ingress controller通过apiserver监听ingress和service的变化，并根据规则配置负载均衡并提供访问入口，达到服务发现的作用。
未配置ingress：
集群外部 → NodePort → K8S Service
配置ingress:
集群外部 → Ingress → K8S Service
- 注意：ingress 本身也需要部署Ingress controller时使用以下几种方式让外部访问
- 使用NodePort方式
- 使用hostPort方式
- 使用LoadBalancer地址方式
下面就以部署traefik为例。
部署traefik
安装traefik ingress-controller：
# kubectl create -f /etc/ansible/manifests/ingress/traefik/traefik-ingress.yaml
这里需要注意：
注意需要配置 RBAC授权
注意trafik pod中 80端口为 traefik ingress-controller的服务端口，8080端口为 traefik 的管理WEB界面；为后续配置方便指定80 端口暴露NodePort端口为 23456(对应于在hosts配置中NODE_PORT_RANGE范围内可用端口)
验证traefik ingress-controller：
# kubectl get deploy -n kube-system traefik-ingress-controller
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
traefik-ingress-controller 1 1 1 1 1d
# kubectl get svc -n kube-system traefik-ingress-service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
traefik-ingress-service NodePort 10.68.89.151 <none> 80:23456/TCP,8080:27528/TCP 1d
可以看到traefik-ingress-service 服务端口80暴露的nodePort确实为23456。
- 测试ingress：
首先创建测试用K8S应用，并且该应用服务不用nodePort暴露，而是用ingress方式让外部访问。
# kubectl run test-hello --image=nginx --expose --port=80
然后为这个应用创建 ingress。
# kubectl create -f /etc/ansible/manifests/ingress/test-hello.ing.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: test-hello
spec:
rules:
- host: hello.test.com
http:
paths:
- path: /
backend:
serviceName: test-hello
servicePort: 80
集群内部尝试访问: curl -H Host:hell.test.com 10.68.89.151(traefik-ingress-service的服务地址) 能够看到欢迎页面 Welcome to nginx!；
集群外部尝试访问(假定集群一个NodeIP为 192.168.30.130): curl -H Host:hello.test.com 192.168.30.130:23456，也能够看到欢迎页面 Welcome to nginx!，说明ingress测试成功。
为traefik web管理页面创建 ingress 规则：
# kubectl create -f /etc/ansible/manifests/ingress/traefik/traefik-ui.ing.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: traefik-web-ui
namespace: kube-system
spec:
rules:
- host: traefik-ui.test.com
http:
paths:
- path: /
backend:
serviceName: traefik-ingress-service
servicePort: 8080
在本机hosts文件中增加一条记录：192.168.30.130 traefik-ui.test.com，即可通过traefik-ui.test.com:23456访问traefik的web管理界面。
部署ingress-service的负载均衡
上面的访问已经实现了ingress功能，但是带有端口，这样不方便，我们需要再次做个代理转发来去掉23456端口。
利用nginx/haproxy等集群，可以做代理转发以去掉23456这个端口。如果你的集群根据本项目部署了高可用方案，那么可以利用LB节点haproxy来做，当然如果生产环境K8S应用已经部署非常多，建议还是使用独立的 nginx/haproxy集群。
配置负载转发ingress nodeport：
向集群外暴露ingress-controller本身的服务端口（80/443/8080）一般有以下三种方法：
部署ingress-controller时使用hostNetwork: true，这样就可以直接使用上述端口，可能与host已listen端口冲突
部署ingress-controller时使用LoadBalancer类型服务，需要集群支持LoadBalancer
部署ingress-controller时使用nodePort类型服务，然后在集群外使用 haproxy/f5 等配置 virtual server 集群
这里以使用 haproxy 配置 ingress的 VS 集群，前提是多主多节点集群并且配置了自建lb节点。
配置lb参数开启转发ingress nodeport：
# vim /etc/ansible/roles/lb/defaults/main.yml
# 启用 ingress NodePort服务的负载均衡 (yes/no)
INGRESS_NODEPORT_LB: "yes"
# 启用 ingress tls NodePort服务的负载均衡 (yes/no)
INGRESS_TLS_NODEPORT_LB: "no" #如果不配置https ingress，这里选择no
重新配置启动LB节点服务：
# ansible-playbook /etc/ansible/roles/lb/lb.yml
验证 lb 节点的 haproxy 服务配置：
# cat /etc/haproxy/haproxy.cfg
listen kube-master
bind 0.0.0.0:8443
mode tcp
option tcplog
balance roundrobin
server 192.168.1.51 192.168.1.51:6443 check inter 2000 fall 2 rise 2 weight 1
server 192.168.1.52 192.168.1.52:6443 check inter 2000 fall 2 rise 2 weight 1
listen ingress-node
bind 0.0.0.0:80
mode tcp
option tcplog
balance roundrobin
server 192.168.1.233 192.168.1.233:23456 check inter 2000 fall 2 rise 2 weight 1
server 192.168.1.253 192.168.1.253:23456 check inter 2000 fall 2 rise 2 weight 1
listen ingress-node-tls
bind 0.0.0.0:443
mode tcp
option tcplog
balance roundrobin
server 192.168.1.233 192.168.1.233:23457 check inter 2000 fall 2 rise 2 weight 1
server 192.168.1.253 192.168.1.253:23457 check inter 2000 fall 2 rise 2 weight 1
配置文件中有上面的配置就说明配置没问题，其实这一步应该放到部署traefik前面来完成。
这样我们就直接去掉了23456端口，在hosts文件中加上相应的域名记录，就可以直接通过域名访问到相应的k8s应用了。
部署jenkins
之所以部署前面的东西，就是为了部署jenkins，基于k8s部署jenkins可以实现的Jenkins动态Slave CI/CD流程。
编辑镜像：
# docker pull jenkins/jenkins:lts
# docker run -d -p 8090:8080 -p 50000:50000 -v /var/jenkins_home --name jenkins jenkins/jenkins:lts
941d70ec5d60bff9fa621794c0a2cedcbb8a761d564aa4b32b990166abb92088
# docker cp jenkins.war jenkins:/usr/share/jenkins/ #准备最新版本的war包，替换
# docker commit 941d7 jenkins/jenkins:latest
推送镜像到harbor：
# docker login harbor.lzxlinux.com
# docker tag jenkins/jenkins:latest harbor.lzxlinux.com/jenkins/jenkins:latest
# docker push !$
修改配置文件：
# vim /etc/ansible/manifests/jenkins/values.yaml
Master:
Name: jenkins-master
ImagePullSecret: my-secret
Image: "harbor.lzxlinux.com/jenkins/jenkins"
ImageTag: "latest"
ImagePullPolicy: "IfNotPresent"
Component: "jenkins-master"
UseSecurity: true
AdminUser: admin
AdminPassword: lzxlzx
HostName: jenkins.test.com
- kubernetes:1.14.8 #相关插件
- workflow-aggregator:2.6
- workflow-job:2.26
- credentials-binding:1.18
- git:3.9.3
- gitlab:1.5.11
Agent:
Enabled: true
Image: jenkinsci/jnlp-slave
ImageTag: alpine
# ImagePullSecret: jenkins
Component: "jenkins-slave"
Privileged: false
StorageClass: "class-nfs-01" #这里一定要与之前配置的动态PV中的一致，否则报错
通过helm安装：
# helm install /etc/ansible/manifests/jenkins/ --name jenkins #若报错请加上 --tls
# kubectl get pod
NAME READY STATUS RESTARTS AGE
jenkins-5cfc5fcd4b-779cs 0/1 Init:0/1 0 2m
# kubectl describe pod jenkins-5cfc5fcd4b-779cs
Normal Pulling 1s kubelet, 192.168.30.129 pulling image "harbor.lzxlinux.com/jenkins/jenkins:latest"
Normal Pulled <invalid> kubelet, 192.168.30.129 Successfully pulled image "harbor.lzxlinux.com/jenkins/jenkins:latest"
Normal Created <invalid> kubelet, 192.168.30.129 Created container
Normal Started <invalid> kubelet, 192.168.30.129 Started container
Normal Pulled <invalid> kubelet, 192.168.30.129 Container image "harbor.lzxlinux.com/jenkins/jenkins:latest" already present on machine
Normal Created <invalid> kubelet, 192.168.30.129 Created container
Normal Started <invalid> kubelet, 192.168.30.129 Started container
# kubectl get pod
NAME READY STATUS RESTARTS AGE
jenkins-5cfc5fcd4b-779cs 1/1 Running 0 3m
# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
jenkins ClusterIP 10.68.174.118 <none> 8080/TCP 3m
jenkins-agent ClusterIP 10.68.172.23 <none> 50000/TCP 3m
kubernetes ClusterIP 10.68.0.1 <none> 443/TCP 1h
通过这样的安装方式，可以自动安装配置文件中包含的插件。
# kubectl logs -f jenkins-5cfc5fcd4b-779cs #查看启动进度
如果安装有问题：
# helm delete --purge jenkins
可以这样删除，检查配置文件无误后重新安装。
访问web界面：
在本地hosts文件中增加一条hosts记录：192.168.30.129 jenkins.test.com，这里ip可以是集群中任一ip。通过域名访问jenkins界面。
账号：admin，密码：lzxlzx。这是之前在配置文件中设置的。
新增一个云：
这一步其实在安装jenkins过程中就已经设置好了，没特殊要求我们可以不做改动。
只要连接测试成功就说明没有问题。
新增流水线任务：
-
cloud：插件配置中的Name
-
label：插件配置中的Images → Kubernetes Pod Tempalte → Labels
-
node：与label一致即可
-
构建：
点击立即构建，查看控制台输出
查看pod情况：
# kubectl get pod
NAME READY STATUS RESTARTS AGE
default-cxj8q 0/1 ContainerCreating 0 8s
jenkins-5cfc5fcd4b-779cs 1/1 Running 1 30m
构建完成
查看pod情况：
# kubectl get pod
NAME READY STATUS RESTARTS AGE
default-cxj8q 0/1 Terminating 0 1m
jenkins-5cfc5fcd4b-779cs 1/1 Running 1 30m
# kubectl get pod
NAME READY STATUS RESTARTS AGE
jenkins-5cfc5fcd4b-779cs 1/1 Running 1 30m
可以看到pod副本是根据任务构建来动态创建和终止的，这就实现了K8s集群Jenkins 动态Slave CI/CD流程。
更多参考资料：
https://blog.csdn.net/qq_34605594/article/details/79241373
https://blog.csdn.net/qq_34605594/article/details/79258596
