Kubernetes集群部署篇1

11、kube-proxy 开启 ipvs 前置条件

modprobe br_netfilter

cat > /etc/sysconfig/modules/ipvs.modules <<EOF

#!/bin/bash

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack_ipv4

EOF

 

使用lsmod命令查看这些文件是否被引导

3、docker部署

1、安装依赖

yum install -y yum-utils device-mapper-persistent-data lvm2

添加yum软件源

（配置一个稳定（stable）的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中)

以下两个选一即可

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-

ce.repo

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-

ce/linux/centos/docker-ce.repo

更新Yum安装的相关Docke软件包&安装Docker CE

yum update -y && yum install docker-ce

测试是否安装成功

docker -v

yum下载失败解决示例

如果出现下载失败的问题，例如下面这样

Error downloading packages:

3:docker-ce-19.03.12-3.el7.x86_64: [Errno 256] No more mirrors to try.

containerd.io-1.2.13-3.2.el7.x86_64: [Errno 256] No more mirrors to try

清除yum缓存

yum clean all

执行上面添加yum软件源的命令切换源

查看仓库配置是否修改生效

vi /etc/yum.repos.d/docker-ce.repo

重新执行如下更新下载命令

yum update -y && yum install docker-ce

2、设置docker daemon文件

创建/etc/docker目录

mkdir /etc/docker

更新daemon.json文件+配置阿里云容器镜像服务

cat > /etc/docker/daemon.json <<EOF

{

"exec-opts": ["native.cgroupdriver=systemd"],

"registry-mirrors": ["https://tda5gnvq.mirror.aliyuncs.com"],

"log-driver": "json-file",

"log-opts": {"max-size": "100m"}

}

EOF

注意： 一定注意编码问题，出现错误：查看命令：journalctl -amu docker 即可发现错误

创建，存储docker配置文件

mkdir -p /etc/systemd/system/docker.service.d

3、重启docker服务并设置docker为开机自启动

systemctl daemon-reload && systemctl restart docker && systemctl enable docker

docker images 测试一下，注：如果无法启动说明配置文件有问题

4、kubeadm[一键安装k8s]

安装kubernetes的时候，需要安装kubelet, kubeadm等包，但k8s官网给的yum源是

packages.cloud.google.com，国内访问不了，此时我们可以使用阿里云的yum仓库镜像

1、配置阿里云的yum仓库镜像

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

2、安装kubeadm、kubelet、kubectl

yum install -y kubeadm-1.15.1 kubelet-1.15.1 kubectl-1.15.1

将kubelet设置为开机自启动，并启动 kubelet

systemctl enable kubelet && systemctl start kubelet

二、集群安装

1、各节点安装基础镜像

展示出安装k8s需要哪些基础镜像

kubeadm config images list

kubeadm 初始化k8s集群的时候，会从gce Google云中下载（pull）相应的镜像，

当然可以选择执行 docker pull 根据上面命令展示出来的镜像，挨个拉取镜像

但是镜像相对比较大，下载可能会失败，所以导入下载好的镜像包到本地docker镜像仓库

注：下面的步骤在master主机执行即可

1、rz上传依赖镜像 tar包

解压镜像

解压结束后如图所示，当然可以也使用docker load -i xxx.tar挨个把tar包的镜像导入到本地仓库

2、编写脚本文件，导入镜像包到本地docker镜像仓库

任意目录下创建sh脚本文件

vi image-load.sh 导入下面脚本代码

注意 /root/kubeadm-basic.images 是你本机镜像解压的目录位置

#!/bin/bash

ls /root/kubeadm-basic.images > /tmp/images-list.txt

cd /root/kubeadm-basic.images

for i in $(cat /tmp/images-list.txt)

do

docker load -i $i

done

rm -rf /tmp/images-list.txt

修改权限，可执行权限

chmod 755 image-load.sh

运行脚本文件，开始执行镜像导入

./image-load.sh

查看本地仓库镜像

docker images

3、传输文件及镜像到其他node节点

注：其他机器也需要安装K8S的环境，所以传输镜像tar包及脚本文件到其他node节点

注：在当前master主机执行

传递到node01节点

scp -r image-load.sh kubeadm-basic.images root@k8s-node01:/root/

传递到node02节点

scp -r image-load.sh kubeadm-basic.images root@k8s-node02:/root/

其他节点依次执行sh脚本，导入镜像

./image-load.sh

2、部署Kubernetes

通过部署yaml文件，来达到一键式部署

注：下面的步骤在master主机执行即可

1、拉取yaml资源配置文件

kubeadm config print init-defaults > kubeadm-config.yaml

2、修改yaml资源文件

注：需要修改的部分如下图所示

localAPIEndpoint:

advertiseAddress: 192.168.52.105 # 注意：修改配置文件的IP地址

kubernetesVersion: v1.15.1 #注意：修改版本号，必须和kubectl版本保持一致

networking:

# 指定flannel模型通信 pod网段地址,此网段和flannel网段一致，不用变

podSubnet: "10.244.0.0/16"

serviceSubnet: "10.96.0.0/12"

#添加如下内容指定使用ipvs网络进行通信，注意缩进

---

apiVersion: kubeproxy.config.k8s.io/v1alpha1

kind: kubeProxyConfiguration

featureGates:SupportIPVSProxyMode: true

mode: ipvs

3、初始化主节点，开始部署

kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee

kubeadm-init.log

注意：执行此命令，CPU核心数量必须大于1核，否则无法执行成功

kubernetes主节点初始化成功后

4、按照K8S的提示执行如下命令

创建目录，保存连接配置缓存，认证文件

mkdir -p $HOME/.kube

拷贝集群管理配置文件

cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

授权给配置文件

chown $(id -u):$(id -g) $HOME/.kube/config

查询node节点

kubectl get node

发现已经可以成功查询node节点信息了，但是节点的状态却是NotReady,不是Runing的状态。原因是

此时我们使

用ipvs+flflannel的方式进行网络通信，但是flflannel网络插件还没有部署，因此节点状态此时为

NotReady

3、部署flflannel网络插件

同样，拉取国外镜像较慢且容易失败，所以使用本地下载好的flflannel镜像，将flflannel.tar包上传，

注意：主从节点均需要上传并执行后续的导入和打标签操作

将镜像tar包导入到本地镜像库

docker load -i flannel.tar

给镜像打标签，在本地仓库生成新的v1版本镜像

docker tag quay-mirror.qiniu.com/coreos/flannel:v0.12.0-amd64 flannel:v1

注：docker images 查看主从机器

注意：后面步骤在master主机执行即可

传入本地的yml文件 (修改为flflannel:v1版本的)**

yml部署flflannel

kubectl create -f kube-flannel.yml

执行成功以后 kubectl get node 查看，可能仍然是NotReady状态，需要一些时间可以通过 kubectl get pod -n kube-system 查看kube-system已经运行的系统pod里flflannel是否运

行

查看时若处于Ready状态，说明网络组件已经部署成功

附录：kubectl get pod -n kube-system 解释

所有k8s的资源都是通过镜像的方式做部署的，运行的模式就是通过pod体现，这些pod就是k8s的系统

资源的pod

-n表示namespace 表示在kube-system这个命名空间下的pod的信息

可以追加 -o wide 查看pod详细信息

kubectl get pod -n kube-system -o wide

附录：发现通过flflannel部署的pod都出现pending,ImagePullBackOffff类似问题

查询一个pod的详细日志信息，找到错误原因（一般为镜像拉去失败）

kubectl describe pod kube-flannel-ds-amd64-jd67h -n kube-system

如果kube-flflannel.yml文件修改过，则使用下面的命令来更新并部署

kubectl apply -f kube-flannel.yml

4、其他node节点加入

构建kubernetes主节点成功，会产生一个日志文件kubeadm-init.log，内容如下图所示：

（命令中指定了日志输出文件 “tee kubeadm-init.log”）

加入主节点以及其余工作节点，执行安装日志中的命令即可

查看日志文件

cat kubeadm-init.log

下图红色部分给出的命令即是把其他节点加入进来的命令

复制命令到其他几个node节点进行执行即可(注意是在其他从机服务器上执行)

执行完毕，可以在master主机查看 kubectl get node

发现还有节点处于NotReady状态，是因为这些节点pod容器还处于初始化的状态，需要时间

当其他node节点jun加入进来且处于Ready状态，则K8S集群搭建成功