k8s集群网络(8)-service之ipvs node port实现原理

在上一篇文章中我们介绍了基于ipvs的cluster ip类型service的实现原理,本质上是在iptable的PREROUTING chain以及相关target中利用ipset来匹配cluster ip,完成对即将做MASQUERADE伪装的items的mark标记,同时结合ipset也减少了iptable中的entry数量。另外在host network namespace里创建kube-ipvs0网络设备,绑定所有cluster ip,保证网络数据包可以进入INPUT chain。在INPUT chain中ipvs利用映射规则(可由ipvsadm查看该规则)完成对cluster ip的DNAT和目标pod endpoints选择的负载均衡,然后直接把数据送入POSTROUTING chain。当数据包进入POSTROUTING chain,经过相关的iptable target,匹配在PREROUTING chain中的mark标记,完成MASQUERADE伪装(SNAT host的ip地址)。最后数据包根据host network namespace的路由表做下一跳路由选择。在这里我们主要介绍基于ipvs的node port类型service的实现原理,如果对上一篇文章内容有所理解,那么这里也比较简单。

我们这里是介绍node port类型的service,所以我们基于以前文章里安装的应用,显示k8s集群中的node port service:

kubectl get service --all-namespaces


对于node port类型的service来说,访问host的port就访问到了这个服务。所以从host网络角度来看,当host收到数据包的时候应该是进入host network namespace的PREROUTING chain中,我们查看这个chain:

iptables -nL -t nat


查看KUBE-SERVICES这个target:

iptables -nL -t nat


根据以前文章,在KUBE-SERVICES target,node port数据包不会匹配ipset KUBE-CLUSTER-IP。因为node port是host的ip地址和目标port,并不在ipset KUBE-CLUSTER-IP中,那么这样数据就进入了KUBE-NODE-PORT。

查看KUBE-NODE-PORT target:

iptables -nL -t nat


我们发现KUBE-NODE-PORT target来匹配KUBE-NODE-PORT-TCP这个ipset,然后进入到KUBE-MARK-MASQ这个target中,我们查看KUBE-NODE-PORT-TCP ipset。

查看KUBE-NODE-PORT-TCP ipset:

kubectl get service --all-namespaces
ipset list KUBE-NODE-PORT-TCP


这里我们看到KUBE-NODE-PORT-TCP这个ipset里一共有3个entry,而且也匹配了集群中node port类型service的端口。我们继续查看KUBE-MARK-MASQ这个target。

查看KUBE-MARK-MASQ target:

iptables -nL -t nat


匹配KUBE-NODE-PORT-TCP这个ipset的items(也就是node port类型的service)会进入到KUBE-MARK-MASQ这个target中,这个target是对所有的items做了mark标记。

经过了PREROUTING chain以及相关的target之后数据会来到INPUT chain,这是因为数据包的目标ip地址为host的ip地址。对于k8s集群的ipvs负载均衡来说,其核心工作就是在INPUT chain,采用NAT模式(http://www.linuxvirtualserver.org/VS-NAT.html),linux操作系统网络内核会对目标ip来做转DNAT换。这里我们以service-kube-dashboard做为例子,它的node port为9092,cluster ip是10.254.32.107,我们查看ipvs如何做DNAT

kubectl describe service service-kube-dashboard --namespace kube-system
ipvsadm -L

 


我们看到service-kube-dashboard node port为9092,对应一个endpoint10.1.86.5:8443。然后通过ipvsadm工具查看确实是ipvs将host ip(172.20.11.43)的9092端口其映射成这个endpoint。

ipvs在INPUT chain完成上述DNAT操作,然后将数据送入POSTROUTING chain,我们查看这个chain。

iptables -nL -t nat


这里我们发现数据在POSTROUTING chain会进入KUBE-POSTROUTING这个target中。

查看KUBE-POSTROUTING target:

iptables -nL -t nat


这里我们发现是对数据包做了MASQUERADE伪装,并且匹配的就是在KUBE-MARK-MASQ target中做的标记,也就是用下一跳路由所使用网路设备的ip做了SNAT操作。所以到这里我们的数据包源ip为下一跳路由所使用网路设备的ip,目标ip为10.1.86.5,然后根据host network namespace的路由表做下一跳路由选择。

总结对于ipvs下的cluster ip的通讯方式为:

数据包从host外部访问node port service的host端口,进入host的network namespace,源ip为外部 ip,源端口为随机端口,目标ip为host ip,目标port为node port。

数据包在host network namespace中进入PREROUTING chain。

在PREROUTING chain中经过匹配ipset KUBE-NODE-PORT-TCP做mask标记操作。

因为数据包的目标ip是host的ip地址,所以进入host network namespace的INPUT chain中。

数据在INPUT chain中被ipvs的内核规则修改(可由ipvsadm查看规则),完成负载均衡和DNAT,然后将数据直接送入POSTROUTING chain。这时源ip为外部ip,源端口为随机端口,目标ip为映射选择的pod ip,目标port为映射选择的port。

数据在POSTROUTING chain中,经过KUBE-POSTROUTING target完成MASQUERADE SNAT。这时源ip为下一跳路由所使用网路设备的ip,源端口为随机端口,目标ip为映射选择的pod ip,目标port为映射选择的port。

数据包根据host network namespace的路由表做下一跳路由选择。


目前先写到这里,下一篇文章里我们将对比一下k8s集群网络中基于iptable和ipvs两种实现方式。

版权声明:本文为CSDN博主「weixin_46073333」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链

https://blog.csdn.net/weixin_46073333/article/details/106401987

posted @ 2021-09-03 17:11  技术颜良  阅读(406)  评论(0编辑  收藏  举报