Kubernetes 的二进制部署（一）——etcd集群和flannel
- 环境准备
- 部署 etcd 集群
- 准备签发证书环境
- 在 master01 节点上操作
- 启动etcd服务
- 在 node01 节点上修改
- 在 node02 节点上修改
- 在 master01 节点上操作
- 部署 docker引擎
- flannel 网络配置
- 在 master01 节点上操作
- 在所有 node 节点上操作
- 上传 flannel.sh 和 flannel-v0.10.0-linux-amd64.tar.gz 到 /opt 目录中，解压 flannel 压缩包
- 创建kubernetes工作目录
- 启动flanneld服务，开启flannel网络功能
- 修改docker服务管理文件，配置docker连接flannel
- 重启docker服务
- 查看 docker0 和 flannel.1 的 IP 地址，此时应该在同一网段里
- 在 node01 节点测试 ping 通 node02 节点的 docker0 网卡，证明 flannel 已起到路由作用
- 创建并进入容器
- 在容器中下载工具，测试 ping 通 node02 节点中的 centos:7 容器
环境准备
k8s集群master01：192.168.73.10 kube-apiserver kube-controller-manager kube-scheduler etcd
k8s集群master02：192.168.73.40
k8s集群node01：192.168.73.20 kubelet kube-proxy docker flannel
k8s集群node02：192.168.73.30
etcd集群节点1：192.168.73.10 etcd
etcd集群节点2：192.168.73.20
etcd集群节点3：192.168.73.30
负载均衡nginx+keepalive01（master）：192.168.73.50
负载均衡nginx+keepalive02（backup）：192.168.73.60
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
#关闭selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
#关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
#根据规划设置主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02
#在master添加hosts
cat >> /etc/hosts << EOF
192.168.73.10 master01
192.168.73.20 node01
192.168.73.30 node02
EOF
#将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
#时间同步
yum install ntpdate -y
ntpdate time.windows.com
部署 etcd 集群
etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库。etcd内部采用raft协议作为一致性算法，etcd是go语言编写的。
etcd 作为服务发现系统，有以下的特点：
简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单
安全：支持SSL证书验证
快速：单实例支持每秒2k+读操作
可靠：采用raft算法，实现分布式系统数据的可用性和一致性
etcd 目前默认使用2379端口提供HTTP API服务， 2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。 即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。
etcd 在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制，要求至少为3台或以上的奇数台。
准备签发证书环境
CFSSL 是 CloudFlare 公司开源的一款 PKI/TLS 工具。 CFSSL 包含一个命令行工具和一个用于签名、验证和捆绑 TLS 证书的 HTTP API 服务。使用Go语言编写。
CFSSL 使用配置文件生成证书，因此自签之前，需要生成它识别的 json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。
CFSSL 用来为 etcd 提供 TLS 证书，它支持签三种类型的证书：
1、client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver 访问 etcd；
2、server 证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 etcd 对外提供服务；
3、peer 证书，相互之间连接时使用的证书，如 etcd 节点之间进行验证和通信。
这里全部都使用同一套证书认证。
在 master01 节点上操作
下载证书制作工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl*
------------------------------------------------------------------------------------------
cfssl：证书签发的工具命令
cfssljson：将 cfssl 生成的证书（json格式）变为文件承载式证书
cfssl-certinfo：验证证书的信息
cfssl-certinfo -cert <证书名称> #查看证书的信息
------------------------------------------------------------------------------------------
创建k8s工作目录
mkdir /opt/k8s
cd /opt/k8s/
上传 etcd-cert.sh 和 etcd.sh 到 /opt/k8s/ 目录中
chmod +x etcd-cert.sh etcd.sh
创建用于生成CA证书、etcd 服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh #生成CA证书、etcd 服务器证书以及私钥
启动etcd服务
etcd 二进制包地址：
https://github.com/etcd-io/etcd/releases
上传 etcd-v3.3.10-linux-amd64.tar.gz 到 /opt/k8s/ 目录中，解压 etcd 压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64
Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
------------------------------------------------------------------------------------------
etcd就是etcd 服务的启动命令，后面可跟各种启动参数
etcdctl主要为etcd 服务提供了命令行操作
------------------------------------------------------------------------------------------
创建用于存放 etcd 配置文件，命令文件，证书的目录
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/
./etcd.sh etcd01 192.168.73.10 etcd02=https://192.168.73.20:2380,etcd03=https://192.168.73.30:2380
//进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况
另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd
把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.73.20:/opt/
scp -r /opt/etcd/ root@192.168.73.30:/opt/
把etcd服务管理文件拷贝到另外两个etcd集群节点
scp /usr/lib/systemd/system/etcd.service root@192.168.73.20:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.73.30:/usr/lib/systemd/system/
在 node01 节点上修改
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02" #修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.73.20:2380" #修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.73.20:2379" #修改
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.73.20:2380" #修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.73.20:2379" #修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.73.10:2380,etcd02=https://192.168.73.20:2380,etcd03=https://192.168.73.30:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
启动etcd服务
systemctl start etcd
systemctl enable etcd
systemctl status etcd
在 node02 节点上修改
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03" #修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.73.30:2380" #修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.73.30:2379" #修改
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.73.30:2380" #修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.73.30:2379" #修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.73.10:2380,etcd02=https://192.168.73.20:2380,etcd03=https://192.168.73.30:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
启动etcd服务
systemctl start etcd
systemctl enable etcd
systemctl status etcd
在 master01 节点上操作
ln -s /opt/etcd/bin/etcd* /usr/local/bin
检查etcd群集状态
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.73.10:2379,https://192.168.73.20:2379,https://192.168.73.30:2379" \
cluster-health
------------------------------------------------------------------------------------------
--cert-file：识别HTTPS端使用SSL证书文件
--key-file：使用此SSL密钥文件标识HTTPS客户端
--ca-file：使用此CA证书验证启用https的服务器的证书
--endpoints：集群中以逗号分隔的机器地址列表
cluster-health：检查etcd集群的运行状况
------------------------------------------------------------------------------------------
切换到etcd3版本查看集群节点状态和成员列表
export ETCDCTL_API=3 #v2和v3命令略有不同，etcd2和etcd3也是不兼容的，默认是v2版本
etcdctl --write-out=table endpoint status
etcdctl --write-out=table member list
export ETCDCTL_API=2 #再切回v2版本
/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.73.10:2379,https://192.168.73.20:2379,https://192.168.73.30:2379" cluster-health
部署 docker引擎
所有node节点部署docker引擎
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce docker-ce-cli containerd.io
systemctl start docker.service
systemctl enable docker.service
flannel 网络配置
K8S 中 Pod 网络通信：
●Pod 内容器与容器之间的通信
在同一个 Pod 内的容器（Pod 内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。
●同一个 Node 内 Pod 之间的通信
每个 Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过 Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。
●不同 Node 上 Pod 之间的通信
Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。
要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。因此要满足两个条件：Pod 的 IP 不能冲突；将 Pod 的 IP 和所在的 Node 的 IP 关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。
Overlay Network：
叠加网络，在二层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。
VXLAN：
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。
Flannel:
Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址。
Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前支持 UDP、VXLAN、 host-GW 3种数据转发方式。
Flannel 工作原理：
数据从 node01 上 Pod 的源容器中发出后，经由所在主机的 docker0 虚拟网卡转发到 flannel.1 虚拟网卡，flanneld 服务监听在 flannel.1 虚拟网卡的另外一端。
Flannel 通过 Etcd 服务维护了一张节点间的路由表。源主机 node01 的 flanneld 服务将原本的数据内容封装到 UDP 中后根据自己的路由表通过物理网卡投递给目的节点 node02 的 flanneld 服务，数据到达以后被解包，然后直接进入目的节点的 flannel.1 虚拟网卡，之后被转发到目的主机的 docker0 虚拟网卡，最后就像本机容器通信一样由 docker0 转发到目标容器。
ETCD 之 Flannel 提供说明:
存储管理Flannel可分配的IP地址段资源
监控 ETCD 中每个 Pod 的实际地址，并在内存中建立维护 Pod 节点路由表
在 master01 节点上操作
添加 flannel 网络配置信息，写入分配的子网段到 etcd 中，供 flannel 使用
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.73.10:2379,https://192.168.73.20:2379,https://192.168.73.30:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'
查看写入的信息
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.73.10:2379,https://192.168.73.20:2379,https://192.168.73.30:2379" \
get /coreos.com/network/config
------------------------------------------------------------------------------------------
set
set /coreos.com/network/config 添加一条网络配置记录，这个配置将用于flannel分配给每个docker的虚拟IP地址段
get
get /coreos.com/network/config 获取网络配置记录，后面不用再跟参数了
Network：用于指定Flannel地址池
Backend：用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan比起预设的udp性能相对好一些
------------------------------------------------------------------------------------------
在所有 node 节点上操作
上传 flannel.sh 和 flannel-v0.10.0-linux-amd64.tar.gz 到 /opt 目录中，解压 flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
flanneld #flanneld为主要的执行文件
mk-docker-opts.sh #mk-docker-opts.sh脚本用于生成Docker启动参数
README.md
创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
启动flanneld服务，开启flannel网络功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://192.168.73.10:2379,https://192.168.73.20:2379,https://192.168.73.30:2379
//flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数
cat /run/flannel/subnet.env
------------------------------------------------------------------------------------------
--bip：指定 docker 启动时的子网
--ip-masq：设置 ipmasq=false 关闭 snat 伪装策略
--mtu=1450：mtu 要留出50字节给外层的vxlan封包的额外开销使用
Flannel启动过程解析：
1、从etcd中获取Network的配置信息
2、划分subnet，并在etcd中进行注册
3、将子网信息记录到/run/flannel/subnet.env中
------------------------------------------------------------------------------------------
修改docker服务管理文件，配置docker连接flannel
vim /lib/systemd/system/docker.service
......
[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
EnvironmentFile=/run/flannel/subnet.env #添加
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock #修改
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
重启docker服务
systemctl daemon-reload
systemctl restart docker
查看 docker0 和 flannel.1 的 IP 地址，此时应该在同一网段里
ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
inet 172.17.26.1 netmask 255.255.255.0 broadcast 172.17.26.255
......
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet 172.17.26.0 netmask 255.255.255.255 broadcast 0.0.0.0
......
在 node01 节点测试 ping 通 node02 节点的 docker0 网卡，证明 flannel 已起到路由作用
ping -I 172.17.26.1 172.17.36.1
创建并进入容器
docker run -itd centos:7 /bin/bash
在容器中下载工具，测试 ping 通 node02 节点中的 centos:7 容器
yum install net-tools -y
ping -I 172.17.26.2 172.17.36.2
浙公网安备 33010602011771号