搭建k8s集群完整版本

搭建k8s集群完整版

基础设置

设置主机ip

nmcli con add ifname ens33 con-name ens33 autoconnect yes type ethernet
nmcli con modify ens33 ipv4.method manual ipv4.dns 114.114.114.114 ipv4.addresses 192.168.109.102/24 ipv4.gateway 192.168.109.2

修改主机名

hostnamectl set-hostname master

关闭防火墙

systemctl stop firewalld

关闭selinux

vim /etc/selinux/config
SELINUX=disabled

关闭swap

swapoff -a //临时关闭
vim /etc/fstab 
#注释掉swap的挂载条目

修改内核参数

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF
# 将 overlay 和 br_netfilter 这两行文本写入
# 到 /etc/modules-load.d/containerd.conf 文件中
# 这两个模块是 Docker 或 containerd 这类容器运行时经常需要的
# 用于提供 overlay 文件系统支持和网络桥接功能
modprobe overlay
modprobe br_netfilter
# 手动加载内核模块
# modprobe 命令用于添加或移除内核模块

cat /etc/sysctl.d/99-kubernetes-cri.conf 
net.bridge.bridge-nf-call-iptables = 1  # 这个设置允许 iptables 规则应用于桥接流量
net.ipv4.ip_forward = 1  # 这个设置允许 IP 转发。在 Kubernetes 集群中，节点（Node）之间以及节点与 Pod 之间的网络流量可能需要通过 IP 转发来路由
net.bridge.bridge-nf-call-ip6tables = 1  # 与 bridge-nf-call-iptables 类似，但这个设置是针对 IPv6 流量的。它允许 ip6tables 规则应用于桥接流量。

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack

sysctl --system
题外话

在 Linux 系统中，sysctl 命令用于读取和修改内核参数（也称为 sysctl 参数）。这些参数定义了内核如何操作，并控制各种系统特性。

你提到的两个命令 sysctl -p 和 sysctl --system 在功能上有一些区别，尽管它们都与加载或应用 sysctl 配置文件有关。

  1. sysctl -p：

    • 这个命令用于从指定的文件（默认为 /etc/sysctl.conf）或 /etc/sysctl.d/ 和 /run/sysctl.d/（在某些系统上）目录下的文件中读取 sysctl 参数，并立即应用它们。
    • 如果你在 /etc/sysctl.conf 或 /etc/sysctl.d/ 下的文件中修改了 sysctl 参数，但还没有重启系统，你可以使用 sysctl -p 命令来应用这些更改，而无需重启。
    • 默认情况下，sysctl -p 只会读取 /etc/sysctl.conf 和 /etc/sysctl.d/ 目录下的文件。

  2. sysctl --system：

    • 这个命令会读取并应用多个目录下的 sysctl 配置文件。具体来说，它会读取 /usr/lib/sysctl.d/、/run/sysctl.d/、/etc/sysctl.d/ 和 /etc/sysctl.conf 这些目录和文件（在某些系统上可能有所不同）。
    • 它会按照目录的字母顺序和文件名的字母顺序来应用配置，确保先加载优先级较低的配置，后加载优先级较高的配置。
    • 使用 --system 选项的目的是为了提供一个更完整的方法来加载和应用 sysctl 配置，确保所有的配置都被考虑到了。

注意：

  • 在某些系统上，/usr/lib/sysctl.d/ 目录下可能包含由系统包管理器安装的默认配置，而 /etc/sysctl.d/ 目录下则包含管理员手动添加的或特定于该系统的配置。
  • 如果你修改了 sysctl 参数，并希望这些更改在系统重启后仍然生效，你应该编辑 /etc/sysctl.conf 文件或 /etc/sysctl.d/ 目录下的文件，而不是直接运行 sysctl 命令。然后，你可以使用 sysctl -p 或 sysctl --system 来应用这些更改。
  • 在某些情况下，你可能还需要确保你的 sysctl 配置更改被持久化到某个启动服务或初始化脚本中，以确保在系统启动时自动应用这些更改。这通常取决于你使用的 Linux 发行版和初始化系统（如 SysVinit、Upstart、systemd 等）。

安装docker

yum install -y yum-utils

yum-config-manager --add-repo https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo

sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo

yum install docker-ce -y

systemctl enable docker --now

containerd config default > /etc/containerd/config.toml

containerd config default | \
sed -e 's|registry\.k8s\.io/pause:[0-9.]\+|registry\.aliyuncs\.com/google_containers/pause:3.9|g'  \
    -e 's,SystemdCgroup = .*,SystemdCgroup = true,' \
    -e 's/\[plugins."io.containerd.grpc.v1.cri".registry.mirrors\]/&\n        \[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]\n          endpoint = \["https:\/\/mirror.ccs.tencentyun.com"]\n/' \
    -e 's/\[plugins."io.containerd.grpc.v1.cri".registry.mirrors\]/&\n        \[plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.k8s.io"]\n          endpoint = \["https:\/\/registry\.aliyuncs\.com\/google_containers"]/' \
    -e '/^\s*$/d' |
tee /etc/containerd/config.toml

vim /etc/containerd/config.toml
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
  endpoint = ["https://mirror.ccs.tencentyun.com"]

[root@node1 ~]# vim /etc/docker/daemon.json 

{
 "registry-mirrors":["https://mirror.ccs.tencentyun.com"],
 "exec-opts": ["native.cgroupdriver=systemd"]
}

安装k8s

cat /etc/yum.repos.d/kubernetes.repo 
[kubernetes]
name=kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
gpgcheck=0

yum install -y kubelet kubectl kubeadm
systemctl enable kubelet

crictl config runtime-endpoint /var/run/containerd/containerd.sock
crictl config image-endpoint /var/run/containerd/containerd.sock
systemctl restart containerd

解释

crictl 是一个命令行工具，用于与 Kubernetes 的容器运行时接口（CRI，Container Runtime Interface）进行交互。当使用 Kubernetes 集群时，kubelet 通过 CRI 与底层的容器运行时（如 Docker、containerd、CRI-O 等）进行通信。在许多现代 Kubernetes 部署中，containerd 作为容器运行时正在变得越来越流行。

您提供的两个命令是用来配置 crictl 工具，以便它可以与 containerd 进行通信。具体来说：

  1. crictl config runtime-endpoint /var/run/containerd/containerd.sock

这个命令告诉 crictl 如何与 containerd 的运行时服务进行通信。/var/run/containerd/containerd.sock 是一个 Unix 套接字文件，它通常是 containerd 运行时服务监听的地址。通过配置这个 endpoint，crictl 可以发送命令给 containerd 来管理容器。

  1. crictl config image-endpoint /var/run/containerd/containerd.sock

这个命令告诉 crictl 如何与 containerd 的镜像服务进行通信。尽管在许多情况下，containerd 的运行时服务和镜像服务都使用同一个 Unix 套接字文件（即 /var/run/containerd/containerd.sock），但理论上它们可以是不同的。然而，在大多数配置中，这两个 endpoint 是相同的。

要使这些配置更改生效，您通常需要在运行 crictl 命令之前设置这些环境变量，或者使用配置文件来永久保存这些设置。但请注意，crictl 的一些版本可能不支持直接通过命令行设置这些配置，因此您可能需要查阅您正在使用的 crictl 版本的文档来了解如何正确设置这些配置。

另外，这些命令本身不会改变任何系统配置或文件；它们只是在当前的 crictl 会话中设置这些值。如果您想永久保存这些更改，您可能需要将它们添加到您的 shell 配置文件（如 ~/.bashrc、~/.bash_profile、~/.zshrc 等）中，或者在运行 crictl 时使用 --runtime-endpoint 和 --image-endpoint 标志来指定这些值。

升级内核

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y
sed -i "s#http://elrepo.org/linux#https://mirrors.tuna.tsinghua.edu.cn/elrepo#g" /etc/yum.repos.d/elrepo.repo
yum --enablerepo="elrepo-kernel" -y install kernel-lt.x86_64
grub2-set-default 0
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

解释

这段命令序列在 CentOS 或 RHEL 7 系统中执行了一系列操作，以安装来自 ELRepo 的长期支持（LT）内核，并更新其软件仓库的镜像地址。以下是对每一步的详细解释：

  1. rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

    • 这条命令从 ELRepo 的官方网站导入其 GPG 密钥。GPG 密钥用于验证从 ELRepo 下载的软件包的完整性和真实性。

  2. yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y

    • 使用 yum 安装 ELRepo 的发行版 RPM 包。这个 RPM 包包含了 ELRepo 的 YUM 仓库配置，使系统可以访问 ELRepo 提供的软件包。-y 参数自动接受所有提示，无需用户干预。

  3. sed -i "s#http://elrepo.org/linux#https://mirrors.tuna.tsinghua.edu.cn/elrepo#g" /etc/yum.repos.d/elrepo.repo

    • 使用 sed 命令编辑 ELRepo 的 YUM 仓库配置文件，将仓库的 URL 从 http://elrepo.org/linux 更改为 https://mirrors.tuna.tsinghua.edu.cn/elrepo。这通常是为了提高下载速度或稳定性，因为使用国内的镜像服务器可能会更快。

  4. yum --enablerepo="elrepo-kernel" -y install kernel-lt.x86_64

    • 使用 yum 从 ELRepo 的 elrepo-kernel 仓库安装长期支持（LT）内核。LT 内核为旧系统提供了更长时间的支持和稳定性。-y 参数自动接受所有提示，--enablerepo="elrepo-kernel" 指定只启用 elrepo-kernel 仓库。

  5. grub2-set-default 0

    • 使用 grub2-set-default 命令设置 GRUB2 的默认启动项为第一个（索引为 0）。这通常意味着在重启后，系统将使用新安装的 LT 内核启动。

  6. grub2-mkconfig -o /boot/grub2/grub.cfg

    • 生成 GRUB2 的配置文件。这确保了 GRUB2 识别了新的内核，并将其包含在启动菜单中。

  7. reboot

    • 重启系统。在重启后，系统应该使用新安装的 LT 内核启动。

请注意，在执行这些命令之前，最好备份重要的系统文件和数据，并确保您了解每一步的作用和可能的影响。此外，根据您的网络环境和系统配置，可能还需要进行其他配置或调整。

初始化

img

[root@master ~]# kubeadm init --apiserver-advertise-address=10.104.43.33(master的ip) --image-repository registry.aliyuncs.com/google_containers（指定镜像仓库） --kubernetes-version v1.23.6 （指定版本）--service-cidr=10.96.0.0/12 （划分服务网段）--pod-network-cidr=10.244.0.0/16（划分pod网段）

[root@master ~]# kubeadm init --apiserver-advertise-address=10.104.43.44 --image-repository registry.aliyuncs.com/google_containers  --kubernetes-version v1.28.2 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16

* 显示successfully 说明格式化成功
* 执行第二个红色方框内的三条命令
* 最后一个方框是node节点加入的密钥
* 如果，初始化的时候清屏不好找，那么可以使用命令查看token
* 如果没有过期，那么就可以直接使用
* 如果过期了，那么需要重新获取token'kubeadm token create'

例如：
[root@master ~]# kubeadm token create --print-join-command
kubeadm join 192.168.109.101:6443 --token izfe9a.vnkoxqjqkwyppcjb --discovery-token-ca-cert-hash sha256:03d6008d14db99b61e1792726e71d937aef6e775dbd2c8e37eeecbf71453588e 
这个命令会输出一个完整的kubeadm join命令，包括新生成的token和集群的API服务器地址。

设置补全

echo "source <(kubectl completion bash)" >> ~/.bashrc
echo "source <(kubeadm completion bash)" >> ~/.bashrc
echo "source <(istioctl completion bash)" >> ~/.bashrc

# 部署CNI网络插件
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f  kube-flannel.yml
（kubectl delete -f kube-flannel.yml    删除）

例子

[root@master k8s]#  kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
[root@master k8s]# kubectl get pod
NAME                     READY   STATUS    RESTARTS   AGE
nginx-85b98978db-pmrwh   1/1     Running   0          14s
[root@master k8s]# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   78m
[root@master k8s]# kubectl get pods,svc
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-85b98978db-pmrwh   1/1     Running   0          29s

NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   78m
[root@master k8s]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
[root@master k8s]# kubectl get pods,svc
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-85b98978db-pmrwh   1/1     Running   0          2m12s

NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        80m
service/nginx        NodePort    10.105.223.172   <none>        80:30663/TCP   6s
[root@master k8s]# curl  http://localhost:30663
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@master k8s]#
posted on 2024-05-15 20:28  代码你敲我不敲  阅读(9)  评论(0)  编辑  收藏  举报
Copyright © 2024 代码你敲我不敲
Powered by .NET 8.0 on Kubernetes Powered By: 博客园

返回顶端