K8S部署

一、Kubeadm部署k8s单master集群
1、配置hosts

cat >> /etc/hosts << EOF
192.168.140.129 master
192.168.140.130 node1
192.168.140.131 node2
185.199.109.133 raw.githubusercontent.com
EOF

2、关闭交换分区（swap）
[root@master ~]# swapoff -a     # 临时关闭
[root@master ~]# sed -ri 's/.*swap.*/#&/' /etc/fstab      # 永久关闭，需要重启才生效

3、修改内核参数
# 加载 br_netfilter 模块
[root@master ~]# modprobe br_netfilter
# 验证模块是否加载成功：
[root@master ~]# lsmod |grep br_netfilter
# 修改内核参数

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

# 使修改的内核参数生效
[root@master ~]# sysctl -p /etc/sysctl.d/k8s.conf

4、安装iptables（可选）
[root@master ~]# yum install iptables-services -y
#禁用 iptables
[root@master ~]# service iptables stop && systemctl disable iptables
#清空防火墙规则
[root@master ~]# iptables -F

5、安装和配置docker
[root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
[root@master ~]# yum -y install docker-ce-20.10.9-3.el7
[root@master ~]# systemctl enable --now docker && systemctl status docker
# 指定镜像仓库，并修改docker文件驱动为systemd，默认为cgroupfs，kubelet默认使用systemd，两者必须一致才可以

cat > /etc/docker/daemon.json << EOF
{
    "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com","https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com", "https://rncxm540.mirror.aliyuncs.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

[root@master ~]# systemctl daemon-reload && systemctl restart docker && systemctl status docker

6、配置k8s yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

7、安装k8s组件(master,node都要装)
[root@master ~]# yum install -y kubelet-1.23.3 kubeadm-1.23.3 kubectl-1.23.3
启动kubelet服务
[root@master ~]# systemctl enable --now kubelet
以上步骤所有节点都需要执行

8、在master上执行初始化

kubeadm init \
--apiserver-advertise-address=[master_IP] \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.3 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

9、node节点执行kubectl get nodes报错：
[root@node ~]# kubectl get nodes
The connection to the server localhost:8080 was refused - did you specify the right host or port?
原因：
kubectl命令需要使用kubernetes-admin来运行，需要admin.conf文件（conf文件是通过“ kubeadmin init”命令在主节点/etc/kubernetes 中创建），但是从节点没有conf文件，也没有设置 KUBECONFIG =/root/admin.conf环境变量，所以需要复制conf文件到从节点，并设置环境变量就OK了
解决方法：
[root@node ~]# scp root@master:/etc/kubernetes/admin.conf /etc/kubernetes/
[root@node ~]# mkdir -p $HOME/.kube
[root@node ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@node ~]# chown $(id -u):$(id -g) $HOME/.kube/config
[root@node ~]# export KUBECONFIG=/etc/kubernetes/admin.conf

10、配置NetworkManager

[root@master ~]# cat > /etc/NetworkManager/conf.d/calico.conf <<EOF
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:tunl*;interface-name:vxlan.calico;interface-name:wireguard.cali
EOF

11、安装calico组件
[root@master ~]# wget --no-check-certificate https://docs.projectcalico.org/manifests/calico.yaml
[root@master ~]# wget --no-check-certificate https://docs.projectcalico.org/v3.23/manifests/calico.yaml
[root@master ~]# sed -i 's#docker.io/##g' calico.yaml
[root@master ~]# cat calico.yaml |grep 'image:'
[root@master ~]# kubectl apply -f calico.yaml

12、calico官方安装方法
# 安装tigera-operator
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/tigera-operator.yaml
# 安装calico
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/custom-resources.yaml
注意：安全完calico网络组件后，节点状态才会由NotReady变为Ready

13、安装rancher dashboard
docker run --privileged -d --restart=unless-stopped -p 80:80 -p 443:443 rancher/rancher

查看join命令在master上执行
kubeadm token create --print-join-command

二、Sealos方式部署K8S集群

# 指定k8s部署目录位置
K8S_DIR="/app"
# k8s服务相关目录
mkdir -p $K8S_DIR/k8s/{sealos,kubelet,containerd,containers,calico,etcd}
ln -sf $K8S_DIR/k8s/sealos /var/lib/sealos
ln -sf $K8S_DIR/k8s/kubelet /var/lib/kubelet
ln -sf $K8S_DIR/k8s/containerd /var/lib/containerd
ln -sf $K8S_DIR/k8s/containers /var/lib/containers
ln -sf $K8S_DIR/k8s/calico /var/lib/calico
ln -sf $K8S_DIR/k8s/etcd /var/lib/etcd
# k8s日志相关目录
mkdir -p $K8S_DIR/k8s/logs/{pods,containers,kubernetes,calico}
ln -sf $K8S_DIR/k8s/logs/pods /var/log/pods
ln -sf $K8S_DIR/k8s/logs/containers /var/log/containers
ln -sf $K8S_DIR/k8s/logs/kubernetes /var/log/kubernetes
ln -sf $K8S_DIR/k8s/logs/calico /var/log/calico

1、下载sealos

wget https://ghfast.top/https://github.com/labring/sealos/releases/download/v4.3.0/sealos_4.3.0_linux_amd64.tar.gz \
&& tar zxvf sealos_4.3.0_linux_amd64.tar.gz && cp sealos /usr/bin/

2、下载k8s，calico镜像

# 下载k8s、calico、helm
sealos pull registry.cn-shanghai.aliyuncs.com/labring/helm:v3.8.2
sealos pull registry.cn-shanghai.aliyuncs.com/labring/calico:v3.22.1
sealos pull registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.21.0
# 导出镜像
sealos save -o k8s-1.21.0.tar registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.21.0
sealos save -o helm-3.8.2.tar registry.cn-shanghai.aliyuncs.com/labring/helm:v3.8.2
sealos save -o calico-3.22.1.tar registry.cn-shanghai.aliyuncs.com/labring/calico:v3.22.1

3、下载k8s，calico，cilium，helm其它版本镜像

# 打开链接：https://explore.ggcr.dev/
# 输入registry.cn-shanghai.aliyuncs.com/labring/kubernetes，然后点击“Submit Query”，查询所有k8s版本
# 输入registry.cn-shanghai.aliyuncs.com/labring/calico，查询所有calico版本
# 输入registry.cn-shanghai.aliyuncs.com/labring/cilium，查询所有cilium版本
# 输入registry.cn-shanghai.aliyuncs.com/labring/helm，查询所有helm版本

 registry-explorer

4、导入镜像，只在节点master1上导入即可
sealos load -i /app/k8s-1.21/k8s-1.21.0.tar
sealos load -i /app/k8s-1.21/calico-3.22.1.tar
sealos rmi -f [IMAGE ID]     # 删除镜像

[root@master1 ~]# sealos images
REPOSITORY                                             TAG       IMAGE ID       CREATED         SIZE
registry.cn-shanghai.aliyuncs.com/labring/kubernetes   v1.21.0   e00792a939af   16 months ago   625 MB
registry.cn-shanghai.aliyuncs.com/labring/calico       v3.22.1   29516dc98b4b   3 years ago     546 MB
[root@master1 ~]# crictl images
IMAGE                                       TAG                 IMAGE ID            SIZE
sealos.hub:5000/calico/cni                  v3.22.1             2a8ef6985a3e5       80.5MB
sealos.hub:5000/calico/kube-controllers     v3.22.1             c0c6672a66a59       54.9MB
sealos.hub:5000/calico/node                 v3.22.1             7a71aca7b60fc       69.6MB
sealos.hub:5000/calico/pod2daemon-flexvol   v3.22.1             17300d20daf93       8.46MB
sealos.hub:5000/calico/typha                v3.22.1             f822f80398b9a       52.7MB
sealos.hub:5000/coredns/coredns             v1.8.0              296a6d5035e2d       12.9MB
sealos.hub:5000/etcd                        3.4.13-0            0369cf4303ffd       86.7MB
sealos.hub:5000/kube-apiserver              v1.21.0             4d217480042e9       30.4MB
sealos.hub:5000/kube-controller-manager     v1.21.0             09708983cc375       29.4MB
sealos.hub:5000/kube-proxy                  v1.21.0             38ddd85fe90e0       50.1MB
sealos.hub:5000/kube-scheduler              v1.21.0             62ad3129eca8d       14.5MB
sealos.hub:5000/pause                       3.4.1               0f8457a4c2eca       301kB
sealos.hub:5000/tigera/operator             v1.25.3             648350e58702c       44.8MB

5、部署k8s集群
方式一：
(1) 生成集群部署文件

sealos gen registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.21.0 \
registry.cn-shanghai.aliyuncs.com/labring/calico:v3.22.1 \
--masters x.x.x.x,x.x.x.x \
--nodes x.x.x.x,x.x.x.x \
--passwd 'password' > Clusterfile

(2) 修改Clusterfile文件，在status: {}行下面插入以下内容

---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
networking:
  podSubnet: 172.16.0.0/16
---
apiVersion: apps.sealos.io/v1beta1
kind: Config
metadata:
  name: calico
spec:
  path: manifests/calico.yaml
  data: |
    apiVersion: operator.tigera.io/v1
    kind: Installation
    metadata:
      name: default
    spec:
      # Configures Calico networking.
      calicoNetwork:
        # Note: The ipPools section cannot be modified post-install.
        ipPools:
        - blockSize: 26
          # Note: Must be the same as podCIDR
          cidr: 172.16.0.0/16
          encapsulation: IPIP
          natOutgoing: Enabled
          nodeSelector: all()
        nodeAddressAutodetectionV4:
          interface: "eth1"

 企业微信截图_17564489074668
(3) 部署k8s集群

sealos apply -f /root/Clusterfile

方式二：

sealos run registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.21.0 \
registry.cn-shanghai.aliyuncs.com/labring/calico:v3.22.1 \
--masters x.x.x.x,x.x.x.x \
--nodes x.x.x.x,x.x.x.x \
-p 'password'

6、查看node节点状态，Ready为正常
kubectl get nodes -o wide

7、去除节点的污点，否则pod不调度到有污点标记的节点

# 查看节点是否有污点
kubectl describe node NODE_NAME | grep Taints
# 在节点上增加污点
kubectl taint node NODE_NAME node-role.kubernetes.io/master:NoSchedule
# 去掉节点上的污点
kubectl taint node NODE_NAME node-role.kubernetes.io/master:NoSchedule-

8、重启coredns
kubectl rollout restart deploy coredns -n kube-system

9、修改internal-ip，在KUBELET_EXTRA_ARGS参数的最后加上node节点eth1的IP地址
vim /var/lib/kubelet/kubelet-flags.env
KUBELET_EXTRA_ARGS="--pod-infra-container-image=k8s.gcr.io/pause:3.4.1 --container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock --image-service-endpoint=unix:///var/run/image-cri-shim.sock --node-ip=x.x.x.x"
#重启kubelet服务
systemctl daemon-reload
systemctl restart kubelet
#确认k8s集群节点的internal-ip是否已经修改
kubectl get nodes -o wide

10、sealos常用命令

# 添加节点
sealos add --masters x.x.x.x  --nodes x.x.x.x
sealos add --masters x.x.x.x-x.x.x.x --nodes x.x.x.x-x.x.x.x
# 删除节点
sealos delete --nodes x.x.x.x
sealos delete --masters x.x.x.x --nodes x.x.x.x
# 清理集群
sealos reset --help
sealos reset
sealos reset --masters x.x.x.x,x.x.x.x,x.x.x.x
# 登陆到sealos镜像仓库
sealos login sealos.hub:5000 -u admin -p passw0rd
# 导入镜像到本地
sealos load -i nginx_latest-1.28.0.tar
# 镜像打tag
sealos tag registry.images.net/nginx:1.28.0 sealos.hub:5000/nginx:1.28.0
# 镜像push到sealos仓库
sealos push sealos.hub:5000/nginx:1.28.0
# 查看镜像
sealos images
# 导出镜像到本地
sealos save -o nginx:1.28.0.tar sealos.hub:5000/nginx:1.28.0
# 导出多个镜像到一个tar归档文件
sealos save -o images.tar --images="nginx:latest,redis:alpine"

11、sealos常见问题处理

# sealos部署k8s集群卡下面的状态，原因为没有etcd pod
10.10.10.1:22: [etcd] Waiting for the new etcd member to join the cluster. This can take up to 40s
10.10.10.1:22: [kubelet-check] Initial timeout of 40s passed.
# 解决方法，编辑对应节点上的etcd.yaml文件然后保存退出：
vim /etc/kubernetes/manifests/etcd.yaml

三、kubeadm配置多master k8s集群
1、配置hosts

cat >> /etc/hosts << EOF
192.168.140.130 master1
192.168.140.131 master2
192.168.140.132 node1
185.199.109.133 raw.githubusercontent.com
EOF

2、关闭交换分区和修改内核参数（略）
3、开启ipvs功能，所有节点都要开启

yum -y install ipvsadm conntrack ntpdate
cat >/etc/sysconfig/modules/ipvs.modules<<\EOF
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
    /sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
    if [ 0 -eq 0 ]; then
        /sbin/modprobe ${kernel_module}
    fi
done
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

4、安装和配置nginx、keepalived，注意安装完keepalived需测试虚拟出来的VIP能否正常访问
[root@master1 ~]# yum -y install nginx nginx-mod-stream keepalived
[root@master1 ~]# cat /etc/nginx/nginx.conf

stream {
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
    access_log  /var/log/nginx/k8s-access.log  main;
    upstream k8s-apiserver {
        server 192.168.140.130:6443 weight=5 max_fails=3 fail_timeout=30s; 
        server 192.168.140.131:6443 weight=5 max_fails=3 fail_timeout=30s;
    }

    server {
       listen 16443;  #由于nginx与master节点复用，这个监听端口不能是6443，否则会冲突
       proxy_pass k8s-apiserver;
    }
}

[root@master1 ~]# cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 105
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.140.133
    }
}

[root@master1 ~]# systemctl enable --now nginx.service keepalived.service
说明：
       master2上的nginx和keepalived配置同master1
5、安装docker服务和k8s组件（略）
6、创建kubeadm-config.yaml文件
[root@master1 ~]# cat kubeadm-config.yaml 

apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.23.3    # 版本号必需要和安装kubelet,kubeadm,kubectl组件时指定的版本号一致
controlPlaneEndpoint: 192.168.140.133:16443   # VIP地址和端口
imageRepository: registry.aliyuncs.com/google_containers
apiServer:
 certSANs:
 - 192.168.140.130
 - 192.168.140.131
 - 192.168.140.132
 - 192.168.140.133
networking:
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.10.0.0/16
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind:  KubeProxyConfiguration
mode: ipvs

7、开始初始化集群
[root@master1 ~]# kubeadm init --config /root/kubeadm-config.yaml --ignore-preflight-errors=SystemVerification

四、使用minikube工具部署k8s单节点测试环境，安装minikube工具前需要先部署docker，禁止在生产环境中使用

# https://github.com/kubernetes/minikube
# 下载minikube工具
curl -LO https://ghfast.top/https://github.com/kubernetes/minikube/releases/latest/download/minikube-linux-amd64
# 安装minikube
install minikube-linux-amd64 /usr/local/bin/minikube && rm minikube-linux-amd64
# 启动(同时使用docker做为运行时，如果是root用户，要加--force)
minikube start --container-runtime=docker --force
# 下载kubectl
minikube kubectl -- get pod -A
# 查看节点状态
minikube kubectl -- get nodes
# 在.bashrc文件中添加以下内容
alias kubectl="minikube kubectl --"
# 创建Nginx部署模板，不实际创建资源
minikube kubectl -- create deployment nginx --image=swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/library/nginx:latest --dry-run=client -o yaml >nginx-deploy.yaml
# 生成服务模板，暴露服务，使外部能访问
minikube kubectl -- expose deployment nginx --type=NodePort --port=80 --dry-run=client -o yaml >nginx-svc.yaml
# 应用服务配置
minikube kubectl -- apply -f nginx-svc.yaml

五、K8S常用yaml配置文件

# yaml格式的pod文件完整内容：
apiVersion: v1     #必选，版本号，例如v1
kind: Pod       #必选，指定创建资源的角色/类型  
metadata:        #必选，资源的元数据/属性 
  name: string       #必选，资源的名字，在同一个namespace中必须唯一  
  namespace: string     #必选，Pod所属的命名空间
  labels:      #自定义标签,使这个标签在service网络中备案，以便被获知
    - name: string   #自定义标签名字
  annotations:       #设置自定义注解列表  
    - name: string   #设置自定义注解名字  
spec:         #必选，设置该资源的详细定义
  nodeName: k8s-node01  # 指定节点名称，该参数会将pod部署到指定的node节点
  containers:    #必选，Pod中容器列表
  - name: string     #必选，容器名称
    image: string    #必选，容器的镜像名称
    imagePullPolicy: [Always | Never | IfNotPresent] #获取镜像的策略 Alawys表示下载镜像 IfnotPresent表示优先使用本地镜像，否则下载镜像，Nerver表示仅使用本地镜像
    command: [string]    #容器的启动命令列表，如不指定，使用打包时使用的启动命令
    args: [string]     #容器的启动命令参数列表
    workingDir: string   #容器的工作目录
    volumeMounts:        #挂载到容器内部的存储卷配置
    - name: string     #引用pod定义的共享存储卷的名称，需用volumes[]部分定义的的卷名
      mountPath: string    #存储卷在容器内mount的绝对路径，应少于512字符
      readOnly: boolean    #是否为只读模式
    ports:       #需要暴露的端口库号列表
    - name: string     #端口号名称
      containerPort: int  #容器需要监听的端口号
      hostPort: int    #容器所在主机需要监听的端口号，默认与Container相同
      protocol: string     #端口协议，支持TCP和UDP，默认TCP
    env:       #容器运行前需设置的环境变量列表
    - name: string     #环境变量名称
      value: string    #环境变量的值
    resources:       #资源限制和请求的设置
      limits:      #资源限制的设置
        cpu: string    #Cpu的限制，单位为core数，将用于docker run --cpu-shares参数
        memory: string   #内存限制，单位可以为Mib/Gib，将用于docker run --memory参数
      requests:         #资源请求的设置
        cpu: string    #Cpu请求，容器启动的初始可用数量
        memory: string   #内存清楚，容器启动的初始可用数量
    livenessProbe:     #对Pod内个容器健康检查的设置，当探测无响应几次后将自动重启该容器，检查方法有exec、httpGet和tcpSocket，对一个容器只需设置其中一种方法即可
      exec:      #对Pod容器内检查方式设置为exec方式
        command: [string]  #exec方式需要制定的命令或脚本
      httpGet:       #对Pod内个容器健康检查方法设置为HttpGet，需要制定Path、port
        path: string
        port: number
        host: string
        scheme: string
        HttpHeaders:
        - name: string
          value: string
      tcpSocket:     #对Pod内个容器健康检查方式设置为tcpSocket方式
         port: number
       initialDelaySeconds: 0  #容器启动完成后首次探测的时间，单位为秒
       timeoutSeconds: 0   #对容器健康检查探测等待响应的超时时间，单位秒，默认1秒
       periodSeconds: 0    #对容器监控检查的定期探测时间设置，单位秒，默认10秒一次
       successThreshold: 0
       failureThreshold: 0
       securityContext:
         privileged:false
    restartPolicy: [Always | Never | OnFailure]#Pod的重启策略，Always表示一旦不管以何种方式终止运行，kubelet都将重启，OnFailure表示只有Pod以非0退出码退出才重启，Nerver表示不再重启该Pod
    nodeSelector: obeject  #设置NodeSelector表示将该Pod调度到包含这个label的node上，以key：value的格式指定
    imagePullSecrets:    #Pull镜像时使用的secret名称，以key：secretkey格式指定
    - name: string
    hostNetwork:false      #是否使用主机网络模式，默认为false，如果设置为true，表示使用宿主机网络
    volumes:       #在该pod上定义共享存储卷列表
    - name: string     #共享存储卷名称 （volumes类型有很多种）
      emptyDir: {}     #类型为emtyDir的存储卷，与Pod同生命周期的一个临时目录。为空值
      hostPath: string     #类型为hostPath的存储卷，表示挂载Pod所在宿主机的目录
        path: string     #Pod所在宿主机的目录，将被用于同期中mount的目录
      secret:      #类型为secret的存储卷，挂载集群与定义的secre对象到容器内部
        scretname: string  
        items:     
        - key: string
          path: string
      configMap:     #类型为configMap的存储卷，挂载预定义的configMap对象到容器内部
        name: string
        items:
        - key: string
          path: string
pod.yaml配置文件
# yaml格式的Deployment文件完整内容：
apiVersion: extensions/v1beta1
kind: Deployment
metadata: ----------------------------------------#元数据
  annotations: -------------------------------------#注释信息
    deployment.kubernetes.io/revision: '1'
    k8s.kuboard.cn/ingress: 'false'
    k8s.kuboard.cn/service: NodePort
    k8s.kuboard.cn/workload: nextcloud
  labels:-------------------------------------------#标签信息
    k8s.kuboard.cn/layer: ''            
    k8s.kuboard.cn/name: nextcloud
  name: nextcloud-----------------------------------#名称
  namespace: nextcloud------------------------------#命名空间 
spec:-----------------------------------------------#定义容器模板，该模板可以包含多个容器 
  replicas: 3---------------------------------------#副本数量
  selector:-----------------------------------------#标签选择器
    matchLabels:
      k8s.kuboard.cn/layer: ''
      k8s.kuboard.cn/name: nextcloud
  strategy:-----------------------------------------#滚动升级策略
    type: RollingUpdate-----------------------------#类型
    rollingUpdate:----------------------------------#由于replicas为3,则整个升级,pod个数在2-4个之间    
      maxSurge: 25%---------------------------------#滚动升级时会先启动25%pod  
      maxUnavailable: 25%---------------------------#滚动升级时允许的最大Unavailable的pod个数
  template:                     #镜像模板                   
    metadata: ------------------------------------#元数据
      labels:---------------------------------------#标签
        k8s.kuboard.cn/layer: ''
        k8s.kuboard.cn/name: nextcloud
    spec: ------------------------------------------#定义容器模板，该模板可以包含多个容器
      containers: ----------------------------------#容器信息
    - name: nextcloud --------------------------#容器名称
          image: '172.16.20.100/library/nextcloud:yan' #镜像名称
          imagePullPolicy: Always ------------------#镜像下载策略 
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
          env
          resources: -------------------------------#CPU内存限制
        limits: --------------------------------#限制cpu内存                      
              cpu: 200m
              memory: 200m
            requests: ------------------------------#请求cpu内存
              cpu: 100m
              memory: 100m
          securityContext: -------------------------#安全设定
            privileged: true -----------------------#开启享有特权
          volumeMounts: ----------------------------#挂载volumes中定义的磁盘
        - name: html ---------------------------#挂载容器1
              mountPath: /var/www/html 
            - name: session ------------------------#挂载容器1
              mountPath: /var/lib/php/session       
      volumes:  ------------------------------------#在该pod上定义共享存储卷列表
        - name: html -------------------------------#共享存储卷名称 （volumes类型有很多种）
          persistentVolumeClaim: -------------------#volumes类型为pvc
            claimName: html  -----------------------#关联pvc名称
        - name: session
          persistentVolumeClaim:
            claimName: session        
      restartPolicy: Always ------------------------#Pod的重启策略 
                              #Always表示一旦不管以何种方式终止运行，kubelet都将重启，
                              #OnFailure表示只有Pod以非0退出码退出才重启，
                              #Nerver表示不再重启该Pod
      schedulerName: default-scheduler -------------#指定pod调度到节点
Deployment.yaml配置文件
# yaml格式的Service文件完整内容：
apiVersion: v1
kind: Service
metadata:  ---------------------------------#元数据
  annotations: -----------------------------#注释信息
    k8s.kuboard.cn/workload: nextcloud
  labels: ----------------------------------#标签信息
    k8s.kuboard.cn/layer: ''
    k8s.kuboard.cn/name: nextcloud
  name: nextcloud --------------------------#名称
  namespace: nextcloud ---------------------#命名空间
spec: --------------------------------------#定义Service模板
  clusterIP: 10.0.181.206 ------------------#指定svcip地址 不指定则随机 
  
 =================================================================================================
  #NodePort类型：集群外网络
  type: NodePort ---------------------------#类型为NodePort  
  ports:
    - name: mnwwwp
      nodePort: 30001 ----------------------#当type = NodePort时，指定映射到物理机的端口号
      port: 80 -----------------------------#服务监听的端口号
      protocol: TCP ------------------------#端口协议，支持TCP和UDP，默认TCP
      targetPort: 80 -----------------------#需要转发到后端Pod的端口号
  
  ==================================================================================================
  #ClusterIP类型： 集群内网络
  type: ClusterIP --------------------------#
  ports:
    - name: mnwwwp
      port: 80
      protocol: TCP
      targetPort: 80
    - name: j5smwx
      port: 22
      protocol: TCP
      targetPort: 22
      
  selector:  -------------------------------#label selector配置，将选择具有label标签的Pod作为管理 
    k8s.kuboard.cn/layer: ''
    k8s.kuboard.cn/name: nextcloud
  sessionAffinity: None --------------------#是否支持session
Service.yaml配置文件
apiVersion: batch/v1beta1
kind: CronJob
metadata:
 name: my-cronjob
 namespace: dev
spec:
 schedule: "*/1 * * * *"  # 表示每分钟执行一次作业
 #successfulJobsHistoryLimit: 1 # 默认3
 #failedJobsHistoryLimit: 1 # 默认1
 #startingDeadlineSeconds: 60  # CronJob控制器将测量从预期创建作业到现在之间的时间。如果差异高于该限制，它将跳过此执行。 例如，如果设置为200，则它允许在实际计划后最多200秒内创建作业。
 jobTemplate:
  spec:
   #activeDeadlineSeconds: 5 # 设置了Pod最大运行时间为5秒，如果超过这个时间就会被Kubernetes强制删除。
   #ttlSecondsAfterFinished: 30
   template:
    spec:
     #terminationGracePeriodSeconds: 0  #当需要关闭容器时，立即杀死容器而不等待默认的30秒优雅停机时长
     containers:
     - name: my-cronjob
       image: 172.171.2.148:5000/busybox
       imagePullPolicy: Always
       - command:
            - sh
            - -c
            - date;sleep 10
     restartPolicy: OnFailure  # 在容器执行失败时重新启动容器


# CronJob资源属性
# 1、schedule
# *   *   *  *  * command
# 分 小时 日 月 周 要运行的命令
# 第1列分钟(0～59)
# 第2列小时(0～23)
# 第3列日(1～31)
# 第4列月(1～12)
# 第5列星期(0～7)（0和7表示星期天）
# 第6列要运行的命令
# 2、successfulJobsHistoryLimit
# 保留执行成功的历史记录次数，默认值是3。
# 假如设置为5，就会保留过去5次成功的执行记录
# 3、failedJobsHistoryLimit
# 保留执行失败的历史记录次数，默认值是1。
# 假如设置为3，就会保留过去3次失败的执行记录
# 4、startingDeadlineSeconds
# 它表示任务如果由于某种原因错过了调度时间，开始该任务的截止时间的秒数。
# 控制器将测量从预期创建作业到现在之间的时间。
# 如果差异高于该限制，它将跳过此执行。
# 例如，如果设置为60，则它允许在实际计划后最多60 秒内创建作业。
# 5、ttlSecondsAfterFinished
# 假如jobTemplate添加了ttlSecondsAfterFinished，这个时候successfulJobsHistoryLimit和failedJobsHistoryLimit就会失效。
# 例如ttlSecondsAfterFinished设置成30，这样不管这次的job是成功还是失败，在30秒后会照样清除
Cronjob.yaml配置文件

六、kubectl tab补齐指令

# 安装bash-completion或zsh-completion
yum install bash-completion zsh-completion
# 临时添加(kubectl completion --help)
source <(kubectl completion bash)
# 写入~/.bashrc文件永久生效(只单个用户有效)
echo "source <(kubectl completion bash)" >> ~/.bashrc
# 加载配置文件立即生效
source ~/.bashrc
# 所有用户都生效
kubectl completion bash | sudo tee /etc/bash_completion.d/kubectl > /dev/null
kubectl completion bash > /usr/share/bash-completion/completions/kubectl

六、k8s排错逻辑图

 

参考链接：
      https://asciinema.org/       # 终端录制，安装前需要安装epel源
      https://zhuanlan.zhihu.com/p/163107995      # Kubernetes单master部署
      https://zhuanlan.zhihu.com/p/639042196
      https://www.cnblogs.com/shuiyao3/p/17290271.html
      https://www.cnblogs.com/fengdejiyixx/p/16576021.html
      https://github.com/labring/sealos
      https://github.com/luckman666     # 一键部署k8s
      https://sealos.run/docs/k8s/quick-start/deploy-kubernetes     # sealos部署k8s集群
      https://www.cnblogs.com/sunnyyangwang/p/18572091      # 离线部署calico
      https://github.com/projectcalico/calico/releases     # calico离线包下载，calico镜像下载release-v3.26.3.tgz包
      https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart     # 官网calico安装方法
      https://www.cnblogs.com/RidingWind/p/16301622.html      # K8S Calico网络插件介绍
      https://github.com/KubeOperator/KubeOperator
      https://blog.csdn.net/qq_25775675/article/details/121671679     # Kubernetes调度器-固定节点
      https://support.huaweicloud.com/function-cce/index.html        # k8s介绍
      https://www.toutiao.com/article/7446434595631809058/     # kubernetes1.31.3集群搭建（上）
      https://www.toutiao.com/article/7446438355295879714/    # kubernetes1.31.3集群搭建（下）
      https://www.cnblogs.com/cheyunhua/p/15922573.html      # kubeadmin部署多master节点
      https://www.cnblogs.com/yangmeichong/p/17124171.html      # k8s1.25多master节点集群部署
      https://www.cnblogs.com/wuqiuyin/p/17028935.html      # k8s多master节点部署
      https://kubernetes.io/zh-cn/docs/concepts/services-networking/network-policies/      # k8s networkpolicy
      https://www.yuque.com/wei.luo/network        # k8s网络
      https://icloudnative.io/posts/kubesphere/       # 部署KubeSphere
      https://www.cnblogs.com/ryanyangcs/p/14079144.html       # Kubernetes使用Kubevirt运行管理Windows10操作系统
      https://www.toutiao.com/article/7442551853209879092/     # 使用kubekey工具部署KubeSphere
      https://github.com/kubesphere/kubekey/blob/master/README_zh-CN.md      # kubekey工具部署Kubernetes和KubeSphere
      https://www.cnblogs.com/gys001/p/16881393.html      # 部署Dashboard

posted @ 2023-08-21 15:49  風￡飛  阅读(450)  评论(0)    收藏  举报