03-k8s 1.23.17版本部署

一、集群环境准备

官方文档：

https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

1.学习环境硬件配置

硬件配置: 2core 4GB
磁盘: 50GB+
操作系统: Ubuntu 22.04.04 LTS
IP和主机名:
	10.0.0.231 master231
	10.0.0.232 worker232
	10.0.0.233 worker233

2.系统环境准备

三个节点都需要准备

2.1 关闭swap分区

swapoff -a && sysctl -w vm.swappiness=0  # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab  # 基于配置文件关闭

2.2 确保各个节点MAC地址或product_uuid唯一

一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。

Kubernetes使用这些值来唯一确定集群中的节点。如果这些值在每个节点上不唯一，可能会导致安装失败。

ifconfig  eth0  | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid

2.3 检查网络节点是否互通

简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。

ping baidu.com -c 10

2.4 允许iptable检查桥接流量

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sysctl --system

2.5 检查端口是否被占用

官方端口占用说明

https://kubernetes.io/zh-cn/docs/reference/networking/ports-and-protocols/

2.6 安装docker；所有节点修改cgroup的管理进程为systemd

[root@master231 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@master231 ~]# 
	
[root@worker232 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@worker232 ~]# 

[root@worker233 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd

二、安装必备软件包

所有节点都要安装

官方链接：

https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/

1.软件包说明

kubeadm：

用来初始化K8S集群的工具。
kubelet：

在集群中的每个节点上用来启动Pod和容器等。
kubectl：

用来与K8S集群通信的命令行工具。

kubeadm不能帮你安装或者管理kubelet或kubectl，所以你需要确保它们与通过kubeadm安装的控制平面(master)的版本相匹配。如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。

然而，控制平面与kubelet间的相差一个次要版本不一致是支持的，但kubelet的版本不可以超过"API SERVER"的版本。例如，1.7.0版本的kubelet可以完全兼容1.8.0版本的"API SERVER"，反之则不可以。

2.k8S所有节点配置软件源

apt-get update && apt-get install -y apt-transport-https

curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 

cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

apt-get update

3.查看一下当前环境支持的k8s版本

[root@master231 ~]# apt-cache madison kubeadm
   kubeadm |  1.28.2-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
………………
   kubeadm |  1.28.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
………………
   kubeadm | 1.23.17-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
………………
   kubeadm | 1.23.14-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages

4.所有节点安装 kubelet kubeadm kubectl

apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00

5.检查各组件版本

所有节点都要检查

[root@worker232 ~]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
[root@worker232 ~]# 
[root@worker232 ~]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?
[root@worker232 ~]# 
[root@worker232 ~]# kubelet --version
Kubernetes v1.23.17

6.检查时区

[root@master231 ~]# ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
'/etc/localtime' -> '/usr/share/zoneinfo/Asia/Shanghai'
[root@master231 ~]# 
[root@master231 ~]# ll /etc/localtime 
lrwxrwxrwx 1 root root 33 Feb 10 11:26 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai
[root@master231 ~]# 
[root@master231 ~]# date -R
Mon, 10 Feb 2025 11:26:38 +0800

三、基于kubeadm组件初始化K8S的master组件

1.拉取/导入镜像

由于拉取镜像需要配置代理，如果代理出错容易造成集群不能正常运行，所以可以考虑将要用到的镜像下载到本地在进行导入

需要用到的镜像如下

[root@master231 ~]# docker image ls
REPOSITORY                                                        TAG        IMAGE ID       CREATED         SIZE
registry.aliyuncs.com/google_containers/kube-apiserver            v1.23.17   62bc5d8258d6   23 months ago   130MB
registry.aliyuncs.com/google_containers/kube-controller-manager   v1.23.17   1dab4fc7b6e0   23 months ago   120MB
registry.aliyuncs.com/google_containers/kube-scheduler            v1.23.17   bc6794cb54ac   23 months ago   51.9MB
registry.aliyuncs.com/google_containers/kube-proxy                v1.23.17   f21c8d21558c   23 months ago   111MB
registry.aliyuncs.com/google_containers/etcd                      3.5.6-0    fce326961ae2   2 years ago     299MB
registry.aliyuncs.com/google_containers/coredns                   v1.8.6     a4ca41631cc7   3 years ago     46.8MB
registry.aliyuncs.com/google_containers/pause                     3.6        6270bb605e12   3 years ago     683kB

2.使用kubeadm初始化master节点

[root@master231 ~]# kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16  --service-dns-domain=dezyan.com
...

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

#这三行是拷贝授权文件命令，用于管理k8s集群
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

#这个很重要！要保存好！
#默认保留24小时，因此24小时内你的集群必须启动起来！
kubeadm join 10.0.0.231:6443 --token yad3sj.xzk89ul76gzy3by3 \
	--discovery-token-ca-cert-hash sha256:199556ce471776cf36041e84e0ad76b2e9b5cfd6cf36729a2cc9789a45aad5e2

使用kubeadm初始化集群时，可能会出现如下的输出信息

[init]
使用初始化的K8S版本。

[preflight] 
	主要是做安装K8S集群的前置工作，比如下载镜像，这个时间取决于你的网速。

[certs] 
	生成证书文件，默认存储在"/etc/kubernetes/pki"目录哟。

[kubeconfig]
	生成K8S集群的默认配置文件，默认存储在"/etc/kubernetes"目录哟。

[kubelet-start] 
	启动kubelet，
	环境变量默认写入:"/var/lib/kubelet/kubeadm-flags.env"
	配置文件默认写入:"/var/lib/kubelet/config.yaml"

[control-plane]
	使用静态的目录，默认的资源清单存放在:"/etc/kubernetes/manifests"。
	此过程会创建静态Pod，包括"kube-apiserver"，"kube-controller-manager"和"kube-scheduler"

[etcd] 
	创建etcd的静态Pod，默认的资源清单存放在:""/etc/kubernetes/manifests"
	
[wait-control-plane] 
	等待kubelet从资源清单目录"/etc/kubernetes/manifests"启动静态Pod。

[apiclient]
	等待所有的master组件正常运行。
	
[upload-config] 
	创建名为"kubeadm-config"的ConfigMap在"kube-system"名称空间中。
	
[kubelet] 
	创建名为"kubelet-config-1.22"的ConfigMap在"kube-system"名称空间中，其中包含集群中kubelet的配置

[upload-certs] 
	跳过此节点，详情请参考”--upload-certs"
	
[mark-control-plane]
	标记控制面板，包括打标签和污点，目的是为了标记master节点。
	
[bootstrap-token] 
	创建token口令，例如:"kbkgsa.fc97518diw8bdqid"。
	如下图所示，这个口令将来在加入集群节点时很有用，而且对于RBAC控制也很有用处哟。

[kubelet-finalize] 
	更新kubelet的证书文件信息

[addons] 
	添加附加组件，例如:"CoreDNS"和"kube-proxy”

3.拷贝授权文件，用于管理K8S集群

[root@master231 ~]# mkdir -p $HOME/.kube
[root@master231 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master231 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

4.查看master组件是否正常工作

#下方两种命令效果相同，cs只是componentstatuses的缩写
[root@master231 ~]# kubectl get componentstatuses
[root@master231 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE                         ERROR
scheduler            Healthy   ok                              
controller-manager   Healthy   ok                              
etcd-0               Healthy   {"health":"true","reason":""}

5.查看工作节点

[root@master231 ~]# kubectl get nodes
NAME        STATUS     ROLES                  AGE     VERSION
master231   NotReady   control-plane,master   3m13s   v1.23.17
[root@master231 ~]# 
[root@master231 ~]# kubectl get no
NAME        STATUS     ROLES                  AGE     VERSION
master231   NotReady   control-plane,master   3m15s   v1.23.17
[root@master231 ~]# 
[root@master231 ~]# kubectl get no -o wide
NAME        STATUS     ROLES                  AGE     VERSION    INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION       CONTAINER-RUNTIME
master231   NotReady   control-plane,master   3m23s   v1.23.17   10.0.0.231    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24

6.master初始化不成功解决问题的方法

可能存在的原因：
	- 由于没有禁用swap分区导致无法完成初始化;
	- 每个2core以上的CPU导致无法完成初始化;
	- 没有手动导入镜像;
	
解决方案:
	- 1.检查上面的是否有上面的情况
free -h 
lscpu

	- 2.重置当前节点环境
[root@master231 ~]# kubeadm reset -f

	- 3.再次尝试初始化master节点 
略。

四、基于kubeadm部署worker组件

1.拉取/导入镜像

在worker两个节点导入如下镜像

[root@worker232 ~]# docker image ls
REPOSITORY                                           TAG        IMAGE ID       CREATED       SIZE
registry.aliyuncs.com/google_containers/kube-proxy   v1.23.17   f21c8d21558c   2 years ago   111MB
registry.aliyuncs.com/google_containers/coredns      v1.8.6     a4ca41631cc7   3 years ago   46.8MB
registry.aliyuncs.com/google_containers/pause        3.6        6270bb605e12   3 years ago   683kB

2.将worker节点加入到master集群

这里的命令就是三(2)使用kubeadm初始化master节点中最后输出的内容

[root@worker232 ~]# kubeadm join 10.0.0.231:6443 --token yad3sj.xzk89ul76gzy3by3 \
	--discovery-token-ca-cert-hash sha256:199556ce471776cf36041e84e0ad76b2e9b5cfd6cf36729a2cc9789a45aad5e2 
	
[root@worker233 ~]# kubeadm join 10.0.0.231:6443 --token yad3sj.xzk89ul76gzy3by3 \
	--discovery-token-ca-cert-hash sha256:199556ce471776cf36041e84e0ad76b2e9b5cfd6cf36729a2cc9789a45aad5e2

3.验证worker节点是否加入成功

[root@master231 ~]# kubectl get no 
NAME        STATUS     ROLES                  AGE     VERSION
master231   NotReady   control-plane,master   9m57s   v1.23.17
worker232   NotReady   <none>                 93s     v1.23.17
worker233   NotReady   <none>                 55s     v1.23.17
[root@master231 ~]# 
[root@master231 ~]# kubectl get no -o wide
NAME        STATUS     ROLES                  AGE     VERSION    INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION       CONTAINER-RUNTIME
master231   NotReady   control-plane,master   9m59s   v1.23.17   10.0.0.231    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker232   NotReady   <none>                 95s     v1.23.17   10.0.0.232    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker233   NotReady   <none>                 57s     v1.23.17   10.0.0.233    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24

五、部署CNI插件之Calico实战

worker节点加入集群后，集群所有节点的状态均为Notready，需要部署CNI插件来使集群网络正常，为ready状态

官方安装说明

https://archive-os-3-25.netlify.app/calico/3.25/getting-started/kubernetes/self-managed-onprem/onpremises

1.导入镜像

部署Calico需要用到以下镜像，可提前导入

[root@master231 ~]# docker images | grep calico
calico/typha                                                      v3.25.2    11995f5f3ea7   19 months ago   64.8MB
calico/kube-controllers                                           v3.25.2    cb60adca8b5e   19 months ago   70.4MB
calico/apiserver                                                  v3.25.2    3c95ef610728   19 months ago   82.2MB
calico/cni                                                        v3.25.2    8ea297882254   19 months ago   202MB
calico/node-driver-registrar                                      v3.25.2    ce42308c1909   19 months ago   22.5MB
calico/csi                                                        v3.25.2    09b69b0828bd   19 months ago   16.7MB
calico/pod2daemon-flexvol                                         v3.25.2    2ea0861c9c7a   19 months ago   14.6MB
calico/node                                                       v3.25.2    ed304c33a22f   19 months ago   243MB

2.下载资源清单

[root@master231 ~]# kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/tigera-operator.yaml

3.修改pod网段的配置

[root@master231 ~]# wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/custom-resources.yaml

[root@master231 ~]# grep cidr custom-resources.yaml 
      cidr: 192.168.0.0/16
      
[root@master231 ~]# sed -i '/cidr/s#192.168#10.100#' custom-resources.yaml

[root@master231 ~]# grep cidr custom-resources.yaml 
      cidr: 10.100.0.0/16

4.应用配置

[root@master231 ~]# kubectl create -f custom-resources.yaml 
installation.operator.tigera.io/default created
apiserver.operator.tigera.io/default created

5.验证集群网络是否正常

[root@master231 ~]# kubectl get pods -A 
#应全部处于Running状态

[root@master231 ~]# kubectl get node -o wide
#所有节点的状态也已经'Ready'
NAME        STATUS   ROLES                  AGE   VERSION    INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION       CONTAINER-RUNTIME
master231   Ready    control-plane,master   9h    v1.23.17   10.0.0.231    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker232   Ready    <none>                 9h    v1.23.17   10.0.0.232    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker233   Ready    <none>                 9h    v1.23.17   10.0.0.233    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24

六、kubectl工具实现自动补全功能

1.添加环境变量

[root@master231 ~]# kubectl completion bash > ~/.kube/completion.bash.inc
[root@master231 ~]# 
[root@master231 ~]# echo source '$HOME/.kube/completion.bash.inc' >> ~/.bashrc 
[root@master231 ~]# 
[root@master231 ~]# source ~/.bashrc

2.验证自动补全功能

[root@master231 ~]# kubectl # 连续按2次tab键测试能否出现命令
alpha          auth           cordon         diff           get            patch          run            version
annotate       autoscale      cp             drain          help           plugin         scale          wait
api-resources  certificate    create         edit           kustomize      port-forward   set            
api-versions   cluster-info   debug          exec           label          proxy          taint          
apply          completion     delete         explain        logs           replace        top            
attach         config         describe       expose         options        rollout        uncordon

posted @ 2025-04-07 23:21 丁志岩阅读(112) 评论(0) 收藏举报

刷新页面返回顶部

丁志岩的运维之路

03-k8s 1.23.17版本部署

一、集群环境准备

1.学习环境硬件配置

2.系统环境准备

2.1 关闭swap分区

2.2 确保各个节点MAC地址或product_uuid唯一

2.3 检查网络节点是否互通

2.4 允许iptable检查桥接流量

2.5 检查端口是否被占用

2.6 安装docker；所有节点修改cgroup的管理进程为systemd

二、安装必备软件包

1.软件包说明

2.k8S所有节点配置软件源

3.查看一下当前环境支持的k8s版本

4.所有节点安装 kubelet kubeadm kubectl

5.检查各组件版本

6.检查时区

三、基于kubeadm组件初始化K8S的master组件

1.拉取/导入镜像

2.使用kubeadm初始化master节点

相关参数说明

使用kubeadm初始化集群时，可能会出现如下的输出信息

3.拷贝授权文件，用于管理K8S集群

4.查看master组件是否正常工作

5.查看工作节点

6.master初始化不成功解决问题的方法

四、基于kubeadm部署worker组件

1.拉取/导入镜像

2.将worker节点加入到master集群

3.验证worker节点是否加入成功

五、部署CNI插件之Calico实战

1.导入镜像

2.下载资源清单

3.修改pod网段的配置

4.应用配置

5.验证集群网络是否正常

六、kubectl工具实现自动补全功能

1.添加环境变量

2.验证自动补全功能

公告