k8s与云服务器之间服务互访之节点网络打通

一、概述

k8s暴露服务的方式有很多使用ingress、nodeport等,这类比较适用于无状态的服务,对于statefulset部署的有状态的服务,(关于statefulset的介绍参考kubernetes的官网或参考我的https://www.cnblogs.com/cuishuai/p/10243291.html),由于statefulset使用的是headless service。是固定网络标示的,也就是服务的完整域名是不会改变的。但是有两个问题:

      1、物理机在k8s集群的外面没办法解析k8s集群内部的域名

      2、解析域名后网络不能通信

二、物理网络与k8s集群打通

有了上面提出的两个问题,我们先来简单分析一下k8s的网络,我们使用的是calico-bgp+ipvs,所以这里就以calico为例,calico为k8s提供了一个网络空间,提供的地址池和k8s初始化时指定的pod-cidr是相同的。部署服务的时候会在地址池里面为pod分配地址,比如设置的是192.168.0.0/16,首先是分配node节点,一般情况下calico会先给node节点随机分配一个网段,例如有个节点是node1 ,calico会分配一个192.168.19.0网段,具体的子网掩码(netmask)要看路由表在任意节点上执行(route -n)查看。

查看具体的分配,部署calico的时候选择的是将数据存储到etcd集群,所以也可以去etcd里面产看:

# etcdctl get --prefix "/calico" --keys-only | grep "ipam/v2/host"

/calico/ipam/v2/host/ku13-1/ipv4/block/192.244.190.128-26 /calico/ipam/v2/host/ku13-1/ipv4/block/192.244.190.192-26 /calico/ipam/v2/host/ku13-2/ipv4/block/192.244.32.0-26 /calico/ipam/v2/host/ku13-2/ipv4/block/192.244.32.64-26 /calico/ipam/v2/host/ku13-3/ipv4/block/192.244.6.192-26 /calico/ipam/v2/host/ku13-3/ipv4/block/192.244.7.0-26 /calico/ipam/v2/host/ku13-3/ipv4/block/192.244.7.64-26 /calico/ipam/v2/host/ku13-4/ipv4/block/192.244.70.0-26

还有一个服务kube-proxy,这个服务负责node之间的网络通信,刷新ipvs列表。具体的calico和kube-proxy工作详情这里不做详解。

 

我们了解到要想解决我们上面提出的两个问题,我们需要将kubernets里面的coredns服务拿出来,为物理机提供dns解析、然后需要将物理机与k8s集群网络打通。接下来我们解决这两个问题:

 

解决第一个问题也需要以第二个问题为前提,所以我们只需要解决了第二个问题,第一个问题只需要在物理机上面的/etc/resolv.conf添加一条nameserver记录。

解决第二个问题:网络打通

打通网络我们需要两个工具:calico、kube-proxy

我们之前的集群都是使用kubeadm部署的,所以我们可以很简单实现这两个服务的部署,如果不是使用kubeadm部署的集群可以参考网上这个服务的部署,本文不做介绍。主要介绍kubeadm部署的实现。

 

我们准备一个服务器,上面需要部署kubeadm、docker具体的准备参考之前的集群初始化,我们将新服务器以node节点的形式加入到集群里面,使用kubeadm join很方便的将服务器加入到现有的k8s集群里面,这个服务器只需要分配很小的资源,因为这个上面不会部署任何服务,只有kubeadm join时部署的calico-node、kube-proxy。

添加节点参考:https://www.cnblogs.com/cuishuai/p/9897006.html

节点成功加入集群后还要执行一个操作,就是设置节点不能被调度:

kubctl  drain  [node-name]  --ignore-daemonsets

 

这样我们新加入的这个节点上面只部署了calico-node、kube-proxy,并且该服务器节点是能和k8s集群通信的,我们把该节点作为k8s网络与物理网络的gateway,所有物理服务器进入k8s集群网络的路由都经过这个gateway。这样就实现了通讯。

 

2、生成路由规则

在上面新部署的服务器上面有到k8s集群的所有路由,我们将这些路由进行提取生成一个路由表给物理机使用,将所有路由设置成默认路由,都经过上面新加服务器的ip。

为了方便使用我写了一个生成脚本,此脚本在gateway节点即上面新加的节点上面执行:

#cat generate-rule

#!/bin/bash

route -n | grep UG | grep -v ^0 | awk '{print $1,$3}' >a.txt

ip=`ip a | grep eth0 | grep inet |awk -F '/' '{print $1}'|awk '{print $2}'`

service_net="192.96.0.0"
service_mask="255.255.0.0" #判断route.rule文件是否存在
if [ -f route.rule ];then >route.rule fi
#生成route.rule文件
#添加coredns的路由
echo "route add -net $service_net netmask $service_mask gw $ip" >route.rule
while read NT MK do echo "route add -net $NT netmask $MK gw $ip " >>route.rule done < a.txt #删除临时文件 rm -rf a.txt

 

service_net是k8s service的网段,即coredns的service ip所在的网段,service_mask是k8s service的子网掩码,这个在使用kubeadm初始化的时候就指定了,我们使用的是:

https://www.cnblogs.com/cuishuai/p/9897006.html

 podSubnet: 192.244.0.0/16

 serviceSubnet: 192.96.0.0/16

将service_net、service_mask换成自己的。

然后将生成的文件copy到物理机上,然后执行:

sh  route.rule

 

在物理机上面在/etc/resolv.conf里面添加coredns的service的ip,service名称是kube-dns,在任意master节点上查看:

kubectl get svc -n kube-system | grep kube-dns
kube-dns         ClusterIP   192.96.0.10      <none>        53/UDP,53/TCP   7d8h

 

将找到的ip地址添加到/etc/resolv.conf:

nameserver 192.96.0.10

 

在物理机上面测试连通性:

 

posted @ 2019-01-23 18:38  诗码者  阅读(5681)  评论(0编辑  收藏  举报