二进制搭建kubernetes多master集群【开篇、集群环境和功能介绍】

本文主要说明kubernetes集群使用组建的版本和功能介绍。、

一、组件版本

  • Kubernetes 1.12.3
  • Docker 18.06.1-ce
  • Etcd 3.3.10
  • Flanneld 0.10.0
  • 插件：
    • Coredns
    • Dashboard
    • Heapster (influxdb、grafana)
    • Metrics-Server
    • EFK (elasticsearch、fluentd、kibana)
  • 镜像仓库：
    • docker registry
    • harbor

二、主要配置策略

kube-apiserver：

  • 使用 keepalived 和 haproxy 实现 3 节点高可用；
  • 关闭非安全端口 8080 和匿名访问；
  • 在安全端口 6443 接收 https 请求；
  • 严格的认证和授权策略 (x509、token、RBAC)；
  • 开启 bootstrap token 认证，支持 kubelet TLS bootstrapping；
  • 使用 https 访问 kubelet、etcd，加密通信；

kube-controller-manager：

  • 3 节点高可用；
  • 关闭非安全端口，在安全端口 10252 接收 https 请求；
  • 使用 kubeconfig 访问 apiserver 的安全端口；
  • 自动 approve kubelet 证书签名请求 (CSR)，证书过期后自动轮转；
  • 各 controller 使用自己的 ServiceAccount 访问 apiserver；

kube-scheduler：

  • 3 节点高可用；
  • 使用 kubeconfig 访问 apiserver 的安全端口；

kubelet：

  • 使用 kubeadm 动态创建 bootstrap token，而不是在 apiserver 中静态配置；
  • 使用 TLS bootstrap 机制自动生成 client 和 server 证书，过期后自动轮转；
  • 在 KubeletConfiguration 类型的 JSON 文件配置主要参数；
  • 关闭只读端口，在安全端口 10250 接收 https 请求，对请求进行认证和授权，拒绝匿名访问和非授权访问；
  • 使用 kubeconfig 访问 apiserver 的安全端口；

kube-proxy：

  • 使用 kubeconfig 访问 apiserver 的安全端口；
  • 在 KubeProxyConfiguration 类型的 JSON 文件配置主要参数；
  • 使用 ipvs 代理模式；

集群插件：

  • DNS：使用功能、性能更好的 coredns；
  • Dashboard：支持登录认证；
  • Metric：heapster、metrics-server，使用 https 访问 kubelet 安全端口；
  • Log：Elasticsearch、Fluend、Kibana；
  • Registry 镜像库：docker-registry、harbor；

三、系统初始化

1、主机名修改 vi /etc/hostname

2、本地hosts解析

[root@k8s-master1 ssl]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.80.4    etcd1
192.168.80.5    etcd2
192.168.80.6    etcd3
192.168.80.7    k8s-master1
192.168.80.8    k8s-master2
192.168.80.9    k8s-master3
192.168.80.10   k8s-node1
192.168.80.11   k8s-node2
192.168.80.12   k8s-node3

3、无密码ssh登陆其他节点，（k8s-master1上生成密钥）

[root@k8s-master1 ssl]# ssh-keygen -t rsa
[root@k8s-master1 ssl]# ssh-copy-id etcd1
[root@k8s-master1 ssl]# ssh-copy-id etcd2
[root@k8s-master1 ssl]# ssh-copy-id etcd3
[root@k8s-master1 ssl]# ssh-copy-id k8s-master1
[root@k8s-master1 ssl]# ssh-copy-id k8s-master2
[root@k8s-master1 ssl]# ssh-copy-id k8s-master3
[root@k8s-master1 ssl]# ssh-copy-id k8s-node1
[root@k8s-master1 ssl]# ssh-copy-id k8s-node2
[root@k8s-master1 ssl]# ssh-copy-id k8s-node3

4、关闭防火墙

sudo systemctl stop firewalld
sudo systemctl disable firewalld
sudo iptables -P FORWARD ACCEPT

5、关闭swap分区

sudo swapoff -a
sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

6、关闭SELinux

sudo setenforce 0
grep SELINUX /etc/selinux/config 
SELINUX=disabled

7、加载内核模块

sudo modprobe br_netfilter
sudo modprobe ip_vs

8、设置系统参数

复制代码
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
复制代码
 sysctl -p /etc/sysctl.d/kubernetes.conf
  • tcp_tw_recycle 和 Kubernetes 的 NAT 冲突，必须关闭 ，否则会导致服务不通；
  • 关闭不使用的 IPV6 协议栈，防止触发 docker BUG；

9、检查系统内核和模块适不适合运行docker（Linux系统）

curl https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh > check-config.sh
$ bash ./check-config.sh

四、环境介绍

ca-key.pem
ca.pem
flanneld-key.pem
flanneld.pem
kubelet-bootstrap.kubeconfig
kubelet-client-2018-12-20-20-10-59.pem
kubelet-client-current.pem
kubelet.config.json
kubelet.crt
kubelet.key
kubelet.kubeconfig
kube-proxy.config.yaml
kube-proxy.kubeconfig

 主机名  IP  需要的证书(/etc/kubernetes/cert)  运行的服务
 etcd1  192.168.80.4    ca-key.pem
etcd-key.pem
ca.pem
etcd.pem		 etcd集群   
 etcd2  192.168.80.5
 etcd3  192.168.80.6
 k8s-master1  192.168.80.7    ca-key.pem
ca.pem
ca-config.json（←只生成证书的主机需要）
encryption-config.yaml
flanneld-key.pem
flanneld.pem
kube-controller-manager-key.pem
kube-controller-manager.kubeconfig
kube-controller-manager.pem
kubernetes-key.pem
kubernetes.pem
kube-scheduler.kubeconfig
~/.kube/config

   kube-apiserver
kube-controller-manager
kube-scheduler

flanneld
 k8s-master2  192.168.80.8
k8s-master3   192.168.80.9
 k8s-node1  192.168.80.10　    

ca-key.pem
ca.pem
flanneld-key.pem
flanneld.pem
kubelet-bootstrap.kubeconfig
kubelet-client-2018-12-20-20-10-59.pem
kubelet-client-current.pem
kubelet.config.json
kubelet.crt
kubelet.key
kubelet.kubeconfig
kube-proxy.config.yaml
kube-proxy.kubeconfig

docker

flannel

kubelet

kube-proxy   
k8s-node2   192.168.80.11　
k8s-node3   192.168.80.12　
 cluster VIP  114.67.81.105　    高可用VIP，负责调度apiserver 6443端口

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

下一篇我们正式开始搭建kubernetes集群所需要的组件，请参考：二进制搭建kubernetes多master集群【一、使用TLS证书搭建etcd集群】

posted @ 2018-12-13 15:56  面对疾风  阅读(3080)  评论(1)  编辑  收藏  举报