系统初始化及Kubernetes安装
目录
系统初始化及Kubernetes安装
系统初始化
实验环境
# 5台虚拟机模拟真实生产环境
master1 192.168.15.111
node1 192.168.15.112
node2 192.168.15.113
Harbor 192.168.15.114
模拟路由
设置系统主机名以及 Host 文件的相互解析
# 给虚拟机设置主机名
$ hostnamectl set-hostname k8s-master01
$ hostnamectl set-hostname k8s-node01
$ hostnamectl set-hostname k8s-node02
# 主节点机器和及节点机器添加hosts解析,若是大集群可以用dns解析获取。
$ vim /etc/hosts
192.168.1.111 k8s-master01 m1
192.168.1.112 k8s-node01 n1
192.168.1.113 k8s-node02 n2
192.168.66.111 hub.wyy.com # 私有仓库
$ scp /root/hosts root@n1:/etc/hosts
$ scp /root/hosts root@n2:/etc/hosts
安装依赖包
$ yum install -y conntrack ntpdate ntp ipvsadm ipset iptables curl sysstat libseccomp wget git vim net-tools
设置防火墙为 Iptables 并设置空规则
$ systemctl stop firewalld
$ systemctl disable firewalld
$ yum -y install iptables-services
$ systemctl start iptables
$ systemctl enable iptables
$ iptables -F
$ service iptables save
关闭 SELINUX
# 关闭交换分区
$ swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
# 关闭selinux
$ setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
调整内核参数,对于 K8S
# 内核参数修改
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间,只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
# 将生成的内核参数文件放到指定目录下,加载使其生效
$ cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
$ sysctl -p /etc/sysctl.d/kubernetes.conf
调整系统时区
# 设置系统时区为 中国/上海
$ timedatectl set-timezone Asia/Shanghai
# 将当前的 UTC 时间写入硬件时钟
$ timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
$ systemctl restart rsyslog
$ systemctl restart crond
# 也可做时间同步
$ crontab -e # -e 添加 -l 查看
$ */5 * * * * /sbin/ntpdate -u ntp1.aliyun.com $> /dev/null
关闭系统不需要服务
$ systemctl stop postfix && systemctl disable postfix
设置 rsyslogd 和 systemd journald
$ mkdir /var/log/journal # 持久化保存日志的目录
$ mkdir /etc/systemd/journald.conf.d # 创建journald日志保存目录
$ vim /etc/systemd/journald.conf.d/99-prophet.conf
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
# 重启
$ systemctl restart systemd-journald
升级系统内核为 4.44
CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs,导致运行的 Docker、Kubernetes 不稳定,例如: rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 网络升级(较慢)
$ rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置,如果没有,再安装一次!
$ yum --enablerepo=elrepo-kernel install -y kernel-lt
# 设置开机从新内核启动
$ grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
# 已经下载好的包进行升级
# 上传安装包kernel-lt-4.4.222-1.el7.elrepo.x86_64.rpm
$ yum -y install kernel-lt-4.4.222-1.el7.elrepo.x86_64.rpm
# 设置开机自启
$ cat /boot/grub2/grub.cfg | grep 4.44
$ grub2-set-default 'CentOS Linux (4.4.222-1.el7.elrepo.x86_64) 7 (Core)'
# 重启
$ reboot
Kubernetes安装
安装简介
安装 Kubernetes
Golang 进行编写
源码包安装
可执行可以直接运行无需依赖
HTTPS 双向认证
kubeadm Kubernetes 官方开发
自动签发证书,但需注意,证书有效期 1 年(如果 1 年不更新集群,不更新证书,集群到期认证失败,可以通过更改 kubeadm 源码,进行修改)
推荐配置文件
组件容器化(关键),拥有自愈性
kube-proxy开启ipvs的前置条件
# 检查安装环境
$ gentenforce
$ iptables -L
$ free -m
$ uname -r
# 加载相关模块
$ modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 赋予权限,运行,截取
$ chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
安装 Docker 软件
# 安装依赖
$ yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加docker-ce.repo源
$ yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装最新稳定版docker-ce (若已下载,可上传直接安装即可)
$ yum install -y docker-ce
# 创建 /etc/docker 目录
mkdir /etc/docker
# 配置 daemon.jison文件,并修改相关内容
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"insecure-registries": ["hub.wyy.com"]
}
EOF
# 创建docker的systemd启动管理目录
$ mkdir -p /etc/systemd/system/docker.service.d
# 重启docker服务
$ systemctl enable docker
$ systemctl restart docker
$ reboot #systemctl daemon-reload
安装 Kubeadm (主从配置)
# 添加Kubeadm的yum源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装Kubeadm工具,并设为开机自启
$ yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
$ systemctl enable kubelet.service
初始化**主节点
# 主节点配置打印模版文件,并拷贝到kubeadm-config.yaml文件中
$ kubeadm config print init-defaults > kubeadm-config.yaml
# 修改文件内容
$ vim kubeadm-config.yaml
localAPIEndpoint:
advertiseAddress: 192.168.1.111 # 修改为master节点的ip地址
kubernetesVersion: v1.15.1 # 修改版本号
dnsDomain:cluster.local # 域名可以修改
networking:
podSubnet: "10.244.0.0/16" # 添加pod分配的地址段
serviceSubnet: 10.96.0.0/12 # 暴露给用户的网段
# 添加
--- # 代表的含义是多个yaml文件合并在一起
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
SupportIPVSProxyMode: true
mode: ipvs # 调度方式改为ipvs结构
# 集群初始化(直接下载速度较慢,所以本次提前下载好,执行下面的命令即可)
$ kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
# 若提前下载好集群初始化的工具则(主从都要配置)
# 上传初始化工具kubeadm-basic.images.tar.gz
$ tar -zxvf kubeadm-basic.images.tar.gz
# 编写脚本,导入
$ vim loadimages.sh
#!/bin/bash
ls /root/kubeadm-basic.images/ > /tmp/images.cache
for i in $( cat /tmp/images.cache )
do
docker load -i /root/kubeadm-basic.images/$i
done
rm -rf /tmp/images.cache
$ chmod a+x loadimages.sh
$ scp -r kubeadm-basic.images loadimages.sh root@n1:/root/
$ scp -r kubeadm-basic.images loadimages.sh root@n2:/root/
$ ./loadimages.sh
# 主节点执行集群初始化
$ kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
加入主节点以及其余工作节点
# 主节点配置
# 安装成功后,出现以下提示命令,一次执行即可。
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config # 添加基础权限
$ kubectl get node # 获取当前节点
# 保留安装的插件机初始化日志
$ mkdir /usr/local/kubernetes
$ mkdir /usr/local/kubernetes/install
$ mv kubeadm-config.yaml kubeadm-init.log /usr/local/kubernetes/install/
$ cd /usr/local/kubernetes/install
$ vim kubeadm-init.log # 查看日志内容
# init 安装版本
# preflight 网卡连接方案
# /var/lib/kubelet/kubeadm-flags.env环境变量文件
# /var/lib/kubelet/config.yaml当前Kubeadm运行时的设置信息
# /etc/kubernetes/pki证书和私钥文件目录
# /etc/kubernetes/manifest开机自启时的文件目录
# 从节点加入主节点(在日志结尾处复制)
$ kubeadm join 192.168.1.111:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:f3e20c1060411b060b858ef5e465ae4a0eef4c98bfa5fc43d394d7bdf1f1a2b2
# 主节点查看从节点是否加入
$ kubectl get node
部署网络
# 方法一:官方插件地址
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 方法二:已下载好插件
# 创建网络插件目录,上传flannel.tar.gz插件至该目录内
$ mkdir /usr/local/kubernetes/cni
$ cd /usr/local/kubernetes/cni
$ tar -zxvf flannel.tar.gz
$ cd flannel
$ scp flannel.tar root@n1:/root/
$ scp flannel.tar root@n2:/root/
$ docker load -i flannel.tar # 主从分别导入镜像
创建flannel运行方式
# 创建资源清单
$ kubectl create -f kube-flannel.yml
# 运行节点
$ kubectl get pod -n kube-system
# 查看节点是否启动
$ kubectl get node
# Kubernetes安装成功。。。。
注:本文为博主查阅多方资料整理而成,如有侵权请留言联系博主删除。
学习新东西,不要忘记复习旧知识,这样你才能更好!