用 kubeadm 在 Debian 或 Ubuntu 中创建 k8s 集群

用 kubeadm 在 Debian 或 Ubuntu 中创建 k8s 集群

 

本文根据官方教程修改而来。用 kubeadm 在 Debian 或 Ubuntu 中创建 k8s 集群 - thepoy - 博客园 (cnblogs.com)

一、准备

要遵循本指南，你需要：

  • 一个或多个 Debian 9 / Ubuntu 18.04 虚拟机，物理机当然更好
  • 每台机器 2GB 以上的内存
  • 用作控制平台节点的虚拟机至少有 2 个CPU
  • 集群中所有计算机之间具有完全的网络连接

更改主节点 hostname 为 k8s-master，子节点根据数量修改 hostname 为 k8s-node-n，每个节点都要修改 hosts文件，添加所有节点的 ip 和 hostname 的映射关系，如：

# k8s cluster nodes start
192.168.31.221 k8s-master
192.168.31.222 k8s-node-1
192.168.31.231 k8s-node-2
# k8s cluster nodes end

关闭 swap

sudo swapoff -a

上面只是临时关闭，永久关闭还需删除/etc/fstab中有关 swap 分区的项目。

  sudo cp /etc/fstab /etc/fstab.bak
  sudo sed -i "/^\/swap/d" /etc/fstab

修改完 fstab 文件后，重启主机。

二、教程开始

1 安装 kubeadm

1.1 允许 iptables 检查桥接流量

确保 br_netfilter 模块被加载。这一操作可以通过运行 lsmod | grep br_netfilter 来完成。若要显式加载该模块，可执行 sudo modprobe br_netfilter。

为了让你的 Linux 节点上的 iptables 能够正确地查看桥接流量，你需要确保在你的 sysctl 配置中将 net.bridge.bridge-nf-call-iptables 设置为 1。例如：

  cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
  br_netfilter
  EOF
   
  cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
  net.bridge.bridge-nf-call-ip6tables = 1
  net.bridge.bridge-nf-call-iptables = 1
  EOF
  sudo sysctl --system

1.2 安装 Docker

参考 docker-ce | 镜像站使用帮助 | 北京外国语大学开源软件镜像站 | BFSU Open Source Mirror。

不再细述。

1.3 安装 kubeadm、kubelet 和 kubectl

你需要在每台机器上安装下面的软件包：

  • kubeadm：用来初始化集群的指令。
  • kubelet：在集群中的每个节点上用来启动 Pod 和容器等。
  • kubectl：用来与集群通信的命令行工具。

kubeadm 不能 帮你安装或者管理 kubelet 或 kubectl，所以你需要 确保它们与通过 kubeadm 安装的控制平面的版本相匹配。 如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。 然而，控制平面与 kubelet 间的相差一个次要版本不一致是支持的，但 kubelet 的版本不可以超过 API 服务器的版本。 例如，1.7.0 版本的 kubelet 可以完全兼容 1.8.0 版本的 API 服务器，反之则不可以。

安装过程

  1. 更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包：

      sudo apt-get update
      sudo apt-get install -y apt-transport-https ca-certificates curl

  2. 下载并添加签名密钥，我将谷歌 key 上传到了 gitee，方便国内使用：

    curl -s https://gitee.com/thepoy/k8s/raw/master/apt-key.gpg | sudo apt-key add -

  3. 添加 Kubernetes apt 仓库，这里使用清华镜像，但清华镜像不稳定，有时会没有网速：

      cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
      deb https://mirrors.tuna.tsinghua.edu.cn/kubernetes/apt kubernetes-xenial main
      EOF

    这里需要注意，kubernetes-xenial不改变，版本代码一改变，将无法在 apt 仓库中找到 kubeadm 和kubelet。而 apt 仓库中保存的是通用 DEB 包， Debian 和 Ubuntu 不区分版本都可以用，所以不要改动此处。我用的是 Debian 9，将其改为kubernetes-stretch后就遇到了此问题，改为kubernetes-xenial才顺利安装。

  4. 更新 apt 包索引，安装 kubelet、kubeadm 和 kubectl，并锁定其版本：

      sudo apt-get update
      sudo apt-get install -y kubelet kubeadm kubectl
      sudo apt-mark hold kubelet kubeadm kubectl

第一小节内容所有虚拟机上都要操作一次。

2 创建集群

2.1 查看 kubeadm 初始化所需镜像

kubeadm 初始化时会拉取一些 docker 镜像，查看fmd要的镜像列表：

  ➜ ~ kubeadm config images list
  k8s.gcr.io/kube-apiserver:v1.21.1
  k8s.gcr.io/kube-controller-manager:v1.21.1
  k8s.gcr.io/kube-scheduler:v1.21.1
  k8s.gcr.io/kube-proxy:v1.21.1
  k8s.gcr.io/pause:3.4.1
  k8s.gcr.io/etcd:3.4.13-0
  k8s.gcr.io/coredns/coredns:v1.8.0

可以看到，使用的镜像仓库是国内无法正常访问的k8s.gcr.io，所以需要另想办法完成镜像拉取。

主节点需要拉取所有镜像，子节点只需要pause和kube-proxy两个镜像就能正常工作。

2.2 拉取镜像

配置好 docker 镜像仓库，通常都使用阿里云加速。

在 docker hub 中逐一搜索对应的镜像，并将所需标签的镜像 pull 到本地。

以kube-apiserver为例，pull 到本地后，修改其本地标签：

docker tag 8522d622299c k8s.gcr.io/kube-apiserver:v1.21.1

2.3 kubeadm 初始化

kubeadm需要使用 root 账户或 root 权限运行。

kubeadm 需要使用 systemd 来管理容器的 cgroup。

初始化前修改 docker 的 daemon.json，添加一行"exec-opts": ["native.cgroupdriver=systemd"]，最终类似于：

  {
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": [
  "xxxxx.mirror.aliyuncs.com" // 这里的镜像仓库需要改成自己的
  ]
  }
  sudo systemctl daemon-reload
  sudo systemctl restart docker

初始化命令：

  sudo kubeadm init \
  --apiserver-advertise-address=192.168.31.221 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16
  • 第一个参数是主节点的 ip 地址
  • 第二个参数是为 service 另指定一个 ip 地址段
  • 第三个参数是为 pod 网络指定的 ip 地址段

初始化成功后，最后会输出类似下面的结果：

  Your Kubernetes control-plane has initialized successfully!
   
  To start using your cluster, you need to run the following as a regular user:
   
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
   
  Alternatively, if you are the root user, you can run:
   
  export KUBECONFIG=/etc/kubernetes/admin.conf
   
  You should now deploy a pod network to the cluster.
  Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
   
  Then you can join any number of worker nodes by running the following on each as root:
   
  kubeadm join 192.168.31.221:6443 --token jc2ohi.sot5cfuqtvyx4bsk \
  --discovery-token-ca-cert-hash sha256:584a842a831fe3226341ce0f5812a94eb6042188e070e4946af7127c689cb13b

最后的命令就是子节点加入集群的命令，在子节点中以 root 权限运行即可：

  sudo kubeadm join 192.168.31.221:6443 --token jc2ohi.sot5cfuqtvyx4bsk \
  --discovery-token-ca-cert-hash sha256:584a842a831fe3226341ce0f5812a94eb6042188e070e4946af7127c689cb13b

然后在主节点中用普通用户运行下面的命令：

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

最后在主节点中查看全部节点：

  ➜ ~ kubectl get nodes
  NAME STATUS ROLES AGE VERSION
  k8s-master Ready control-plane,master 10m v1.21.1
  k8s-node-1 Ready <none> 9m26s v1.21.1
  k8s-node-2 Ready <none> 9m2s v1.21.1

集群中所有节点都已准备好了。

可选：

kubectl get cs已被弃用。

可以检查一下集群是否正常：

kubectl get cs

可能你会得到下面的响应：

  NAME STATUS MESSAGE ERROR
  scheduler Unhealthy Get "http://127.0.0.1:10251/healthz": dial tcp 127.0.0.1:10251: connect: connection refused
  controller-manager Unhealthy Get "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused
  etcd-0 Healthy {"health":"true"}

出现这种情况，是/etc/kubernetes/manifests下的kube-controller-manager.yaml和kube-scheduler.yaml设置的默认端口是 0，在文件中注释掉或删除掉相关参数就可以了。

3 安装 Pod 网络附加组件

你必须部署一个基于 Pod 网络插件的 容器网络接口 (CNI)，以便你的 Pod 可以相互通信。 在安装网络之前，集群 DNS (CoreDNS) 将不会启动。

可用的第三方 CNI 列表见 CNI | Kubernetes。

本文使用Flannel：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

安装过程很快，完成后即可查看 coredns 状态：

kubectl get pods -n kube-system

结果：

  NAME READY STATUS RESTARTS AGE
  coredns-54695bfdf-24whr 1/1 Running 0 29m
  coredns-54695bfdf-p8knz 1/1 Running 0 29m
  etcd-k8s-master 1/1 Running 0 29m
  kube-apiserver-k8s-master 1/1 Running 0 29m
  kube-controller-manager-k8s-master 1/1 Running 0 29m
  kube-flannel-ds-4w2lt 1/1 Running 0 16s
  kube-flannel-ds-7x9w7 1/1 Running 0 16s
  kube-flannel-ds-rgcxl 1/1 Running 0 16s
  kube-proxy-gtf4d 1/1 Running 0 29m
  kube-proxy-pvhbp 1/1 Running 0 28m
  kube-proxy-s6xj9 1/1 Running 0 28m
  kube-scheduler-k8s-master 1/1 Running 0 29m

使用 API 检查集群健康状态：

  curl -k https://localhost:6443/livez\?verbose
  curl -k https://localhost:6443/readyz\?verbose
  [+]ping ok
  [+]log ok
  [+]etcd ok
  [+]poststarthook/start-kube-apiserver-admission-initializer ok
  [+]poststarthook/generic-apiserver-start-informers ok
  [+]poststarthook/priority-and-fairness-config-consumer ok
  [+]poststarthook/priority-and-fairness-filter ok
  [+]poststarthook/start-apiextensions-informers ok
  [+]poststarthook/start-apiextensions-controllers ok
  [+]poststarthook/crd-informer-synced ok
  [+]poststarthook/bootstrap-controller ok
  [+]poststarthook/rbac/bootstrap-roles ok
  [+]poststarthook/scheduling/bootstrap-system-priority-classes ok
  [+]poststarthook/priority-and-fairness-config-producer ok
  [+]poststarthook/start-cluster-authentication-info-controller ok
  [+]poststarthook/aggregator-reload-proxy-client-cert ok
  [+]poststarthook/start-kube-aggregator-informers ok
  [+]poststarthook/apiservice-registration-controller ok
  [+]poststarthook/apiservice-status-available-controller ok
  [+]poststarthook/kube-apiserver-autoregistration ok
  [+]autoregister-completion ok
  [+]poststarthook/apiservice-openapi-controller ok
  livez check passed
  [+]ping ok
  [+]log ok
  [+]etcd ok
  [+]informer-sync ok
  [+]poststarthook/start-kube-apiserver-admission-initializer ok
  [+]poststarthook/generic-apiserver-start-informers ok
  [+]poststarthook/priority-and-fairness-config-consumer ok
  [+]poststarthook/priority-and-fairness-filter ok
  [+]poststarthook/start-apiextensions-informers ok
  [+]poststarthook/start-apiextensions-controllers ok
  [+]poststarthook/crd-informer-synced ok
  [+]poststarthook/bootstrap-controller ok
  [+]poststarthook/rbac/bootstrap-roles ok
  [+]poststarthook/scheduling/bootstrap-system-priority-classes ok
  [+]poststarthook/priority-and-fairness-config-producer ok
  [+]poststarthook/start-cluster-authentication-info-controller ok
  [+]poststarthook/aggregator-reload-proxy-client-cert ok
  [+]poststarthook/start-kube-aggregator-informers ok
  [+]poststarthook/apiservice-registration-controller ok
  [+]poststarthook/apiservice-status-available-controller ok
  [+]poststarthook/kube-apiserver-autoregistration ok
  [+]autoregister-completion ok
  [+]poststarthook/apiservice-openapi-controller ok
  [+]shutdown ok
  readyz check passed

查看集群信息：

kubectl cluster-info
  Kubernetes control plane is running at https://192.168.31.221:6443
  CoreDNS is running at https://192.168.31.221:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
   
  To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
 
分类: Kubernetes
posted @ 2022-08-08 20:07  有小熊陪着你看月亮  阅读(388)  评论(0)    收藏  举报