使用Kubeadm部署K8S v1.17.2集群部署详细步骤

kubernetes组件架构图:

 

集群机器

172.16.2.10 k8s-master
172.16.2.11 k8s-node1
172.16.2.12 k8s-node2

 #查看Centos版本:

cat /etc/redhat-release 
CentOS Linux release 7.4.1708 (Core)
##https://www.cnblogs.com/liucx/

#修改主机名:

#master节点:
hostnamectl set-hostname k8s-master
#node1节点:
hostnamectl set-hostname k8s-node1
#node2节点:
hostnamectl set-hostname k8s-node2

#修改/etc/hosts文件

cat >> /etc/hosts << EOF
172.16.2.10 k8s-master
172.16.2.11 k8s-node1
172.16.2.12 k8s-node2
EOF

#关闭防火墙和selinux

systemctl stop firewalld && systemctl disable firewalld
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config && setenforce 0

#关闭swap

swapoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

#Master免密登录其它节点

ssh-keygen
ssh-copy-id -i root@k8s-node1
ssh-copy-id -i root@k8s-node2

#安装依赖包

yum -y  install epel-release
yum -y install  ntpdate  ipvsadm ipset  iptables curl sysstat libseccomp wget 

#同步时间

ntpdate ntp.shu.edu.cn
crontab -e
*/5 * * * * ntpdate ntp5.aliyun.com

#修改iptables相关参数
#RHEL / CentOS 7上的一些用户报告了由于iptables被绕过而导致流量路由不正确的问题。创建/etc/sysctl.d/k8s.conf文件,添加如下内容:

cat <<EOF >  /etc/sysctl.d/k8s.conf
vm.swappiness = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
#使配置生效
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf

#由于ipvs已经加入到了内核的主干,所以为kube-proxy开启ipvs的前提需要加载以下的内核模块:
#在所有的Kubernetes节点执行以下脚本:

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

#执行脚本
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
#上面脚本创建了/etc/sysconfig/modules/ipvs.modules文件,保证在节点重启后能自动加载所需模块。 使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块。

#卸载docker旧版本

yum remove -y docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine

#安装docker

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
yum -y install docker-ce
systemctl start docker && systemctl enable docker

#配置镜像加速器


mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://registry.cn-hangzhou.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF
systemctl restart docker

#配置kubernetes的阿里云yun源

cat > /etc/yum.repos.d/kubernetes.repo  <<EOF
[kubernetes]
name=Kubernetes repo
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
enabled=1
EOF

查看可用的 Kubeadm 组件版本

yum list kubeadm --showduplicates |sort -r
yum list kubectl --showduplicates |sort -r 
yum list kubelet --showduplicates |sort -r 

#安装指定版本kubelet、kubeadm、kubectl

#1.kubelet 在群集中所有节点上运行的核心组件, 用来执行如启动pods和containers等操作。
#2.kubeadm 引导启动k8s集群的命令行工具,用于初始化 Cluster。
#3.kubectl 是 Kubernetes 命令行工具。通过 kubectl 可以部署和管理应用,查看各种资源,创建、删除和更新各种组件
#在所有节点上安装指定版本 kubelet、kubeadm 和 kubectl

yum install -y kubelet-1.17.2 kubeadm-1.17.2 kubectl-1.17.2
#因docker/etc/docker/daemon.json配置设置了,下面不用操作

#修改docker Cgroup Driver为systemd
#将/usr/lib/systemd/system/docker.service文件中的这一行 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
#修改为 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd
#如果不修改,在添加Node节点时可能会碰到如下错误
# [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd".
# Please follow the guide at https://kubernetes.io/docs/setup/cri/

sed -i "s#^ExecStart=/usr/bin/dockerd.*#ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd#g" /usr/lib/systemd/system/docker.service systemctl daemon-reload systemctl restart docker

#启动kubelet服务

systemctl enable kubelet && systemctl start kubelet

注:此时执行 systemctl status kubelet 命令,将得到 kubelet 启动失败的错误提示,请忽略此错误,因为必须完成后续步骤中 kubeadm init 的操作,kubelet 才能正常启动

#Master节点执行初始化

kubeadm init \
    --apiserver-advertise-address=172.16.2.10 \
    --image-repository registry.aliyuncs.com/google_containers \
    --kubernetes-version v1.17.2 \
    --pod-network-cidr=10.244.0.0/16

--apiserver-advertise-address:API服务器将通知它正在监听的IP地址,监听的地址为“0.0.0.0”,即本机所有IP地址。
--apiserver-bind-port:API服务器绑定到的端口。(默认:6443)
--image-repository:Kubenetes默认Registries地址是 k8s.gcr.io,在国内并不能访问 gcr.io,将其指定为阿里云镜像地址:registry.aliyuncs.com/google_containers
--ignore-preflight-errors:将错误显示为警告的检查列表进行忽略。例如:“IsPrivilegedUser,Swp”。Value 'all'忽略所有检查中的错误。
--pod-network-cidr:指定pod网络的IP地址范围。如果设置,控制平面将为每个节点自动分配CIDRs。
--service-cidr:为service VIPs使用不同的IP地址。(默认“10.96.0.0/12”)

#上面日志会生成以下信息(重要记录)

kubeadm join 172.16.2.10:6443 --token a63pm3.gqg0nc7dphukxohv \
    --discovery-token-ca-cert-hash sha256:5bfcffc542f4aecdecb1ad5250d1ac6fe202d0d36433065eb31a83dbe56733eb 
#默认token的有效期为24小时,当过期之后,该token就不可用了。
#如果后续有nodes节点加入,解决方法如下:重新生成新的token ==> kubeadm token create

 #根据上面的输出提示进行操作 

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

#执行完之后,再查看nodes节点时,结果如下:
kubectl get nodes
#可以看出master的状态是未就绪(NotReady),之所以是这种状态是因为还缺少一个附件flannel或者Calico,没有网络各Pod是无法通信的。
#也可以通过检查组件的健康状态
kubectl get componentstatus #componentstatus可简写为cs

 

#Node节点加入集群

#使用kubeadm join 注册Node节点到Matser

#kubeadm join 的内容,在上面kubeadm init (kubeadm init输出结果的最后写明了) 已经生成好了
#此操作在node节点上进行操作

kubeadm join 172.16.2.10:6443 --token a63pm3.gqg0nc7dphukxohv \
    --discovery-token-ca-cert-hash sha256:5bfcffc542f4aecdecb1ad5250d1ac6fe202d0d36433065eb31a83dbe56733eb 

 

#安装网络插件
#一般的网络无法访问quay.io,可以找国内的镜像源,或者从docker hub上拉取flannel的镜像。
#手动拉取flannel镜像
#在集群的所有机器上操作,手动拉取flannel的docker镜像

docker pull easzlab/flannel:v0.11.0-amd64
# 修改镜像名称
docker tag easzlab/flannel:v0.11.0-amd64 quay.io/coreos/flannel:v0.11.0-amd64
docker rmi easzlab/flannel:v0.11.0-amd64
docker images

#安装flannel
#此操作在Master节点 上进行
#下载flannel资源配置清单

wget  https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml 

#部署完成后,我们可以通过 kubectl get 重新检查 Pod 的状态:

kubectl get pod -n kube-system -o wide
#可以看到,所有的系统 Pod 都成功启动了,而刚刚部署的flannel网络插件则在 kube-system 下面新建了一个名叫kube-flannel-ds-amd64-lkf2f的 Pod,一般来说,这些 Pod 就是容器网络插件在每个节点上的控制组件。
再次查看master和node节点状态已经为ready状态
kubectl get nodes 
[root@k8s-master ~]# kubectl get pods --all-namespaces  #查看所有名称空间的pod,同时可以看到flannel已经正常启动    
NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE
default       nginx-86c57db685-q884q               1/1     Running   0          7m3s
kube-system   coredns-9d85f5447-jb8l2              1/1     Running   0          3h38m
kube-system   coredns-9d85f5447-zx2j5              1/1     Running   0          3h38m
kube-system   etcd-k8s-master                      1/1     Running   0          3h38m
kube-system   kube-apiserver-k8s-master            1/1     Running   0          3h38m
kube-system   kube-controller-manager-k8s-master   1/1     Running   0          3h38m
kube-system   kube-flannel-ds-amd64-2plp7          1/1     Running   0          48m
kube-system   kube-flannel-ds-amd64-cnlbh          1/1     Running   0          48m
kube-system   kube-flannel-ds-amd64-zr88r          1/1     Running   0          48m
kube-system   kube-proxy-44fpd                     1/1     Running   0          179m
kube-system   kube-proxy-5lrvp                     1/1     Running   0          3h38m
kube-system   kube-proxy-c64px                     1/1     Running   0          179m
kube-system   kube-scheduler-k8s-master            1/1     Running   0          3h38m
[root@k8s-master ~]# kubectl get pods -n kube-system #查看名称空间为kube-system的pod
NAME READY STATUS RESTARTS AGE
coredns-9d85f5447-jb8l2 1/1 Running 0 3h37m
coredns-9d85f5447-zx2j5 1/1 Running 0 3h37m
etcd-k8s-master 1/1 Running 0 3h37m
kube-apiserver-k8s-master 1/1 Running 0 3h37m
kube-controller-manager-k8s-master 1/1 Running 0 3h37m
kube-flannel-ds-amd64-2plp7 1/1 Running 0 47m
kube-flannel-ds-amd64-cnlbh 1/1 Running 0 47m
kube-flannel-ds-amd64-zr88r 1/1 Running 0 47m
kube-proxy-44fpd 1/1 Running 0 178m
kube-proxy-5lrvp 1/1 Running 0 3h37m
kube-proxy-c64px 1/1 Running 0 178m
kube-scheduler-k8s-master 1/1 Running 0 3h37m

#Master节点安装自动补全工具

yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc

#测试Kubernetes集群

 此操作在master节点 K8S00上进行

kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get services nginx
#kubernetes集群可能出现pod或node节点状态异常等情况,可以通过查看日志分析错误原因
#查看pod日志
kubectl -n kube-system logs -f <pod name>
#查看pod运行状态及事件
kubectl -n kube-system describe pods <pod name>

 

完成!

posted @ 2020-04-08 14:58  liucx  阅读(1825)  评论(0编辑  收藏  举报