Kubeasz部署K8s基础测试环境简介
下面介绍使用Kubeasz部署K8s集群环境。
https://github.com/easzlab/kubeasz
在需要使用kubeeasz项目安装的k8s时，需要将所有需要它来部署的节点上，都安装python2.7，最新的kubeeasz可能已经支持python3了，这个要具体查看说明。
另外 ，0.6.x的版本中bin目录下的二进制文件,以前是打包好放在网盘上的，但在最新版中都改为直接在线下载了。
#需要注意的是, 此项目在0.6.x以上版本中，将其中一些添加新master，node等节点的功能去掉了，因此在下载项目时，一定要仔细看看其example/目录下支持的hosts，看看hosts模板中是否有需要的功能。
git clone -b 0.6.1 https://github.com/easzlab/kubeasz.git
这是我测试K8s的逻辑拓扑图:
建议，测试K8s，OpenStack等环境时，先将拓扑图画出来，然后，根据拓扑图来部署环境，这样便于理清思路，深入学习。
使用Kubeasz部署K8s集群注意事项:
1. 最小化安装一台ubuntu 或 centos
#以ubuntu18.10为例:
2. 卸载如下包:
1) apt remove ufw #ufw是Ubuntu上默认安装的防火墙.
2) snap remove lxd && apt remove snapd
3. 关闭云服务工具: cloud-init
systemctl disable cloud-init-local cloud-init cloud-config cloud-final
4. 修改系统时区
timedatectl set-timezone Asia/Shanghai
5. 安装chronyd
apt-get install chronyd && chronyc sources -v
6. 安装docker-ce，已经python2.7环境
# step 1: 安装必要的一些系统工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
apt-get install apt-transport-https ca-certificates curl software-properties-common chrony \
nfs-common conntrack jq socat bash-completion rsync ipset ipvsadm
# step 2: 安装GPG证书
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 写入软件源信息
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新并安装 Docker-CE
sudo apt-get -y update
sudo apt-get -y install docker-ce python2.7
ln -s /usr/bin/pyton2.7 /usr/bin/python
7. 创建SSH证书
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id 192.168.10.130 #注意:这是我制作用于克隆其它VM的基础主机的IP.
这样制作出来的VM,启动后,就会自动做好SSH无密钥认证.
通过上面的操作，就制作好一台通用的K8s基础环境的主机。
接着就可以使用VMware将该主机克隆出多个连接克隆，做如下操作。
1. 至少做2台链接克隆的Ubuntu做为Master节点。
2. 至少做3台链接克隆的Ubuntu作为Node节点
3. 至少在做一台作为LB节点，实现Master的高可用。另外它也可以再兼职Harbor.
4.分别依次启动每个VM,并修改其IP地址.可按上面拓扑图的方案来配置，也可自行设计.
5.确保每个节点都能互相通信，并且都能联网。
6. 在其中一个Master节点上安装ansible.
git clone -b 0.6.1 https://github.com/easzlab/kubeasz.git
cd kubeasz/ && cp -rf ./* /etc/ansible/
到我的网盘地址去下载所需的K8s集群所需的二进制打包文件：
https://pan.baidu.com/s/1njpwNdNEkVnuuXy029gXjw
下载完成后，解压到/etc/ansible/bin/下面，然后就可以做之后的操作了。
然后进入 /etc/ansible/ 执行以下命令.
1. 将git克隆的kubeasz项目整体拷贝文件到/etc/ansible中，这是ansible默认执行目录，所以放这里可避免手动指定hosts文件.
1) cp example/hosts.m-masters.example /etc/ansible/hosts
2) vim /etc/ansible/hosts
#deploy段,是指定克隆Kubeasz项目的那台主机,因为我将kubeasz克隆到Master1上了,因此我这里写Master1的IP
#另外我已经事先配置好Chrony-Server，并且将所有节点和它同步了时间,因此我将NTP_ENABLED设置为no,若你没有配置时间同步,可设为yes.
#但一定要保障你的所有节点都能联网。
[deploy]
192.168.111.84 NTP_ENABLED=no
# ETCD数据库我是将其安装到Node节点上了,这样做可节省VM的数量
[etcd]
192.168.111.80 NODE_NAME=etcd1
192.168.111.81 NODE_NAME=etcd2
192.168.111.82 NODE_NAME=etcd3
#这里设置K8sMaster有哪些,这里我是两台做高可用.因此写两个
[kube-master]
192.168.111.84 NEW_MASTER=yes
192.168.111.85 NEW_MASTER=yes
#这里配置K8s的Node节点.
[kube-node]
192.168.111.80 NEW_NODE=yes
192.168.111.81 NEW_NODE=yes
192.168.111.82 NEW_NODE=yes
[all:vars]
# ---------集群主要参数---------------
#集群部署模式：allinone, single-master, multi-master
#这里配置为多master，因为这里要做Master的高可用
DEPLOY_MODE=multi-master
#集群主版本号，目前支持: v1.8, v1.9, v1.10，v1.11, v1.12, v1.13
#安装的版本是K8s的v1.13.5，因此这里选择v1.13
K8S_VER="v1.13"
# 这里设置LB(负载均衡)上的VIP,也就是192.168.111.100，它是一个HAProxy+keepalived,
#我配置是HAProxy反向代理两台Master.
MASTER_IP="192.168.111.100"
KUBE_APISERVER="https://{{ MASTER_IP }}:6443"
# 集群网络插件，目前支持calico, flannel, kube-router, cilium
#这里我使用calico来部署K8s的网络,这是为了方便后面配置网络策略，使用flannel的话,也可以,不过这就要参考官网资料,
#将calico集成到flannel网络中,让flannel提供网络，calico提供网络策略.
CLUSTER_NETWORK="calico"
#Services网段，每个Service都是一组Pod的前端LB
SERVICE_CIDR="172.30.0.0/16"
# POD 网段 (Cluster CIDR），注意不要与内网已有网段冲突
CLUSTER_CIDR="10.10.0.0/16"
#这些预留的端口是为外网用户访问K8s集群时使用的，即K8s集群的Node节点要选出几个节点，
#暴露这些端口，然后，在前端入口LB上，配置调度时，指定转发给这些节点的那些端口。
NODE_PORT_RANGE="30000-60000"
#这个是为CoreDNS或其它K8s内部DNS预留的IP
CLUSTER_DNS_SVC_IP="172.30.254.254"
# 集群 DNS 域名
CLUSTER_DNS_DOMAIN="zcf.local."
#这是当部署完K8s的Dashboard后，登录时，使用的用户名和密码。
BASIC_AUTH_USER="admin"
BASIC_AUTH_PASS="zhangcf"
2. 确保所有需要kubeeasz来部署服务端节点上，都安装了python2.7，并可直接执行 python 命令.
for i in {80..85}; do ssh 192.168.10.$i "apt-get install python2.7 -y"; done
for i in {80..85}; do ssh 192.168.10.$i "hostname; ln -s /usr/bin/python2.7 /usr/bin/python; python --version"; done
3. 在node 和 master检查docker是否能正常工作
systemctl start docker
docker ps -a
4. 以上检查和配置完成后，就可以做以下操作了.
4.1.下载必须的镜像文件:
从阿里云的谷歌镜像仓库中下载:
#下载启动K8s各系统Pod所需要的基础镜像
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64
修改 roles/kube-node/defaults/main.yml
# 默认使用kube-proxy的 'iptables' 模式，可选 'ipvs' 模式(experimental)
PROXY_MODE: "iptables"
# 基础容器镜像
SANDBOX_IMAGE: "harbor.zcf.com/k8s/pause-amd64:3.1" #这里我是将其下载后,上传到我的harbor上了.
#接着去下载Calico3.3.6的版本,因为K8sv1.13.5官方changlog中说明了,对此版本的Calico是测试稳定的.
https://github.com/projectcalico/calico/releases?after=v3.5.5 到这里去找Calico3.3.6的版本去下载.
下载完成后,解压后,其中会包含Calico的镜像和客户端工具,只需要将Calico镜像上传到自己的Harbor上，然后修改以下内容:
vim roles/calico/defaults/main.yml
# 更新支持calico 版本: [v3.2.x] [v3.3.x] [v3.4.x]
calico_ver: "v3.3.6"
CALICO_NODE: "harbor.zcf.com/k8s/calico/node:{{ calico_ver }}"
CALICO_CNI: "harbor.zcf.com/k8s/calico/cni:{{ calico_ver }}"
CALICO_CTRL: "harbor.zcf.com/k8s/calico/kube-controllers:{{ calico_ver }}"
vim roles/calico/templates/calico-v3.3.yaml.j2
#修改calico的DaemonSet控制器中三个Pod模板使用的镜像
- name: calico-node
image: {{ CALICO_NODE }}
。。。
- name: install-cni
image: {{ CALICO_CNI }}
。。。。
- name: calico-kube-controllers
image: {{ CALICO_CTRL }}
4.2 以上配置修改完成后，就可以继续下面的步骤了.
顺序执行下面几个playbook,若遇到报错,第一次可忽略,然后再次运行,若两次都失败,就需要具体查原因了:
ansible-playbook 01.prepare.yml
02.etcd.yml
03.docker.yml #若在初始化环境时,安装了docker,这一步可不做!!
04.kube-master.yml
05.kube-node.yml
06.network.yml
5. 以上若全部执行完成，你就已经部署了一个最基本的K8s高可用的运行环境。
#注意：我上面没有对HAProxy+Keepalived+Harbor的配置,这些建议参考其它文章来自行学习,因为这些都不难.
6. 需要配置Kube-DNS，这里我还有些问题，没有完全弄明白,仅提供思路.
6.1 首先从kubernetes官方github上下载kube-dns这个Addons(附件)的配置清单
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/dns/kube-dns/kube-dns.yaml.in
#下载可能会失败,多试几次即可。注意：kubernetes的各种Addons都在不断更新，所以一定要注意,下面提供的参数可能会有变！
下载完成，做以下修改:
#从阿里云的谷歌镜像仓库下载镜像:
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/k8s-dns-kube-dns:1.14.13
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/k8s-dns-dnsmasq-nanny:1.14.13
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/k8s-dns-sidecar:1.14.13
spec:
selector:
k8s-app: kube-dns
clusterIP: {{ pillar['dns_server']}}
#将{{ pillar['dns_server']}} 修改为 CLUSTER_DNS_SVC_IP它的值，因为我在hosts设置其为"172.30.254.254"
clusterIP: 172.30.254.254
.。。。。。
- name: kubedns
image: k8s.gcr.io/k8s-dns-kube-dns:1.14.13
#注意：我是提前下载好镜像，并上传到harbor上后，修改为image为：
image: harbor.zcf.com/k8s/k8s-dns-kube-dns:1.14.13
.....
- name: dnsmasq
# image: k8s.gcr.io/k8s-dns-dnsmasq-nanny-amd64:v1.14.13
image: harbor.zcf.com/k8s/k8s-dns-dnsmasq-nanny-amd64:v1.14.13
......
- name: sidecar
# image: k8s.gcr.io/k8s-dns-sidecar:1.14.13
image: harbor.zcf.com/k8s/k8s-dns-sidecar:1.14.13
。。。。。
limits:
memory: {{ pillar['dns_memory_limit'] }}
#将其修改Pod可使用内存硬限制大小,如我设置为: 100Mi
。。。。。
- --domain={{ pillar['dns_domain'] }}.
#修改所有类似 “{{ pillar['dns_domain'] }}” 为 CLUSTER_DNS_DOMAIN的值。
#注意：此yaml文件中多处都引用了它,我并没有全部列出来.
#我这里在Hosts文件配置为: CLUSTER_DNS_DOMAIN="zcf.local."
#因此我的是修改为 - --domain=zcf.local. #注意域名最后是有一个点的.
.......
#- --server=/{{ pillar['dns_domain'] }}/127.0.0.1#10053
#修改上面pillar为你的集群域名。如，我的修改为:
- --server=/zcf.local/127.0.0.1#10053
#然后添加以下内容，注意：这可能不是必须的,因此测试中,发现Pod不能访问公网,所以才添加了以下内容。
#但这并没有解决根本问题，根本问题还是需要让kube-dns能读取node节点上的/etc/resolv.conf文件,来获取公网DNS的地址.
#我测试没有通过，因此才有了下面的方式.
- --server=/.com/114.114.114.114#53
- --server=/.cn/114.114.114.114#53
- --server=/.org/114.114.114.114#53
- --server=/.net/114.114.114.114#53
6.2. 以上kube-dns的yaml文件都修改好，接着就可以执行:
mv kube-dns.yaml.in kube-dns.yaml
kubectl apply -f kube-dns.yaml
7. 以上步骤全部做完后，一个基本意义上的K8s已经部署完成。
至于Dashboard如何部署，这里就不说明了。后面有时间在补充吧,或者也可参考其它文章来部署。
