外部服务发现之traefik-Ingress
来源:https://www.cnblogs.com/lvzhenjiang/p/15032487.html
一、Ingress介绍
Ingress其实就是从 kuberenets 集群外部访问集群的一个入口,将外部的请求转发到集群内不同的 Service 上,其实就相当于 nginx、haproxy 等负载均衡代理服务器,有的同学可能觉得我们直接使用 nginx 就实现了,但是只使用 nginx 这种方式有很大缺陷,每次有新服务加入的时候怎么改 Nginx 配置?不可能让我们去手动更改或者滚动更新前端的 Nginx Pod 吧?那我们再加上一个服务发现的工具比如 consul 如何?貌似是可以,对吧?而且在之前单独使用 docker 的时候,这种方式已经使用得很普遍了,Ingress 实际上就是这样实现的,只是服务发现的功能自己实现了,不需要使用第三方的服务了,然后再加上一个域名规则定义,路由信息的刷新需要一个靠 Ingress controller 来提供。
Ingress controller 可以理解为一个监听器,通过不断地与 kube-apiserver 打交道,实时的感知后端 service、pod 的变化,当得到这些变化信息后,Ingress controller 再结合 Ingress 的配置,更新反向代理负载均衡器,达到服务发现的作用。其实这点和服务发现工具 consul consul-template 非常类似。
现在可以供大家使用的 Ingress controller 有很多,比如 traefik、nginx-controller、Kubernetes Ingress Controller for Kong、HAProxy Ingress controller,当然你也可以自己实现一个 Ingress Controller,现在普遍用得较多的是 traefik 和 nginx-controller,traefik 的性能较 nginx-controller 差,但是配置使用要简单许多,我们这里会以更简单的 traefik 为例给大家介绍 ingress 的使用。
二、Traefik
Traefik 是一款开源的反向代理与负载均衡工具。它最大的优点是能够与常见的微服务系统直接整合,可以实现自动化动态配置。目前支持 Docker、Swarm、Mesos/Marathon、 Mesos、Kubernetes、Consul、Etcd、Zookeeper、BoltDB、Rest API 等等后端模型。

要使用traefik,我们同样需要部署traefik的Pod,我们将 traefik 部署到master节点上即可。
首先,为安全起见我们这里使用 RBAC 安全认证方式!rbac.yaml
| apiVersion: v1 | |
| kind: ServiceAccount | |
| metadata: | |
| name: traefik-ingress-controller | |
| namespace: kube-system | |
| kind: ClusterRole | |
| apiVersion: rbac.authorization.k8s.io/v1beta1 | |
| metadata: | |
| name: traefik-ingress-controller | |
| rules: | |
| - apiGroups: | |
| - "" | |
| resources: | |
| - services | |
| - endpoints | |
| - secrets | |
| verbs: | |
| - get | |
| - list | |
| - watch | |
| - apiGroups: | |
| - extensions | |
| resources: | |
| - ingresses | |
| verbs: | |
| - get | |
| - list | |
| - watch | |
| kind: ClusterRoleBinding | |
| apiVersion: rbac.authorization.k8s.io/v1beta1 | |
| metadata: | |
| name: traefik-ingress-controller | |
| roleRef: | |
| apiGroup: rbac.authorization.k8s.io | |
| kind: ClusterRole | |
| name: traefik-ingress-controller | |
| subjects: | |
| - kind: ServiceAccount | |
| name: traefik-ingress-controller | |
| namespace: kube-system | 
直接在集群中创建即可:
然后使用 Deployment 来管理 Pod,直接使用官方的 traefik 镜像部署即可!
traefik.yaml
| kind: Deployment | |
| apiVersion: apps/v1 | |
| metadata: | |
| name: traefik-ingress-controller | |
| namespace: kube-system | |
| labels: | |
| k8s-app: traefik-ingress-lb | |
| spec: | |
| replicas: 1 | |
| selector: | |
| matchLabels: | |
| k8s-app: traefik-ingress-lb | |
| template: | |
| metadata: | |
| labels: | |
| k8s-app: traefik-ingress-lb | |
| name: traefik-ingress-lb | |
| spec: | |
| serviceAccountName: traefik-ingress-controller | |
| terminationGracePeriodSeconds: 60 | |
| tolerations: | |
| - operator: "Exists" | |
| nodeSelector: | |
| kubernetes.io/hostname: k8s-master | |
| containers: | |
| - image: traefik:v1.7.17 | |
| name: traefik-ingress-lb | |
| ports: | |
| - name: http | |
| containerPort: 80 | |
| - name: admin | |
| containerPort: 8080 | |
| args: | |
| - --api | |
| - --kubernetes | |
| - --logLevel=INFO | |
| kind: Service | |
| apiVersion: v1 | |
| metadata: | |
| name: traefik-ingress-service | |
| namespace: kube-system | |
| spec: | |
| selector: | |
| k8s-app: traefik-ingress-lb | |
| ports: | |
| - protocol: TCP | |
| port: 80 | |
| name: web | |
| - protocol: TCP | |
| port: 8080 | |
| name: admin | |
| type: NodePort | 
需要注意的是最近 Traefik 发布了 2.0 版本,导致默认的 taefik 镜像升级到了最新版本,而 2.x 版本和 1.x 版本变化非常大,而且配置不兼容,所以这里使用的使用注意使用一个具体的镜像 tag,比如 traefik:v1.7.17
直接创建上面的资源对象即可:
要注意上面 yaml 文件:
| tolerations: | |
| - operator: "Exists" | |
| nodeSelector: | |
| kubernetes.io/hostname: k8s-master | 
因为我们需要将traefik部署在master节点上,所以我们使用nodeSelector标签将traefik的固定调度到master这个节点上,那么上面的tolerations是干什么的呢?这个是因为我们集群使用的 kubeadm 安装的,master 节点默认是不能被普通应用调度的,要被调度的话就需要添加这里的 tolerations 属性,当然如果你的集群和我们的不太一样,直接去掉这里的调度策略就行。
traefik 还提供了一个 web ui 工具,就是上面的 8080 端口对应的服务,为了能够访问到该服务,我们这里将服务设置成的 NodePort:
| NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES | |
| traefik-ingress-controller-b7bf76b8b-84vlq 1/1 Running 0 3m27s 10.100.235.194 k8s-master <none> <none> | |
| $ kubectl -n kube-system get svc | grep traefik | |
| traefik-ingress-service NodePort 10.96.218.18 <none> 80:30264/TCP,8080:31484/TCP 4m12s | 
现在在浏览器中输入 master_node_ip:31484 就可以访问到 traefik 的 dashboard 了:

三、Ingress对象
现在我们是通过 NodePort 来访问 traefik 的 Dashboard 的,那怎样通过 ingress 来访问呢? 首先,需要创建一个 ingress 对象!
ingress.yaml
| apiVersion: extensions/v1beta1 | |
| kind: Ingress | |
| metadata: | |
| name: traefik-web-ui | |
| namespace: kube-system | |
| annotations: | |
| kubernetes.io/ingress.class: traefik | |
| spec: | |
| rules: | |
| - host: traefik.lvzhenjiang.com | |
| http: | |
| paths: | |
| - backend: | |
| serviceName: traefik-ingress-service | |
| servicePort: 8080 | 
然后为 traefik dashboard 创建对应的 ingress 对象:
要注意上面的 ingress 对象的规则,特别是 rules 区域,我们这里是要为 traefik 的 dashboard 建立一个 ingress 对象,所以这里的 serviceName 对应的是上面我们创建的 traefik-ingress-service,端口也要注意对应 8080 端口,为了避免端口更改,这里的 servicePort 的值也可以替换成上面定义的 port 的名字:admin
创建完成后,我们应该怎么来测试呢?
- 第一步,在本地的/etc/hosts里面添加上 traefik.lvzhenjiang.com 与 master 节点外网 IP 的映射关系
 - 第二步,在浏览器中访问:http://traefik.lvzhenjiang.com 我们会发现并没有得到我们期望的 dashboard 界面,这是因为我们上面部署 traefik 的时候使用的是 NodePort 这种 Service 对象,所以我们只能通过上面的 31484 端口访问到我们的目标对象:http://traefik.lvzhenjiang.com:31484
 

加上端口后我们发现可以访问到 dashboard 了,而且在 dashboard 当中多了一条记录,正是上面我们创建的 ingress 对象的数据,我们还可以切换到 HEALTH 界面中,可以查看当前 traefik 代理的服务的整体的健康状态!

- 第三步,上面我们可以通过自定义域名加上端口可以访问我们的服务了,但是我们平时服务别人的服务是不是都是直接用的域名啊,http 或者 https 的,几乎很少有在域名后面加上端口访问的吧?为什么?太麻烦啊,端口也记不住,要解决这个问题,怎么办,我们只需要把我们上面的 traefik 的核心应用的端口隐射到 master 节点上的 80 端口,是不是就可以了,因为 http 默认就是访问 80 端口,但是我们在 Service 里面是添加的一个 NodePort 类型的服务,没办法映射 80 端口,怎么办?这里就可以直接在 Pod 中指定一个 hostPort 即可,更改上面的 traefik.yaml 文件中的容器端口:
 
| containers: | |
| - image: traefik:v1.7.17 | |
| name: traefik-ingress-lb | |
| ports: | |
| - name: http | |
| containerPort: 80 | |
| hostPort: 80 | |
| - name: admin | |
| containerPort: 8080 | 
添加以后hostPort: 80,然后更新应用:
更新完成后,这个时候我们在浏览器中直接使用域名方法测试下:

- 第四步,正常来说,我们如果有自己的域名,我们可以将我们的域名添加一条 DNS 记录,解析到 master 的外网 IP 上面,这样任何人都可以通过域名来访问我的暴露的服务了。
 
如果你有多个边缘节点的话,可以在每个边缘节点上部署一个 ingress-controller 服务,然后在边缘节点前面挂一个负载均衡器,比如 nginx,将所有的边缘节点均作为这个负载均衡器的后端,这样就可以实现 ingress-controller 的高可用和负载均衡了。
到这里我们就通过 ingress 对象对外成功暴露了一个服务!
                    
                
                
            
        
浙公网安备 33010602011771号