文章目录

k8s Ingress与安全机制整理

一、Ingress 服务概述

1. 核心作用

  • Service的补充：Service解决集群内部Pod的服务发现与负载均衡，但对外暴露服务需额外方案。
  • 对外暴露方式对比：
    • NodePort：暴露节点端口（30000-32767），适合测试，端口管理困难。
    • LoadBalancer：依赖云厂商，自动创建LB，有额外费用，适合公有云。
    • externalIPs：为Service分配外部IP，需路由到集群节点。
    • Ingress：七层反向代理，通过少量公网IP/LB暴露多个HTTP/HTTPS服务，基于域名/URL路径转发（可理解为“Service的Service”）。

二、Ingress 组成

1. Ingress（规则定义）

  • 以YAML配置的API对象，定义请求转发规则（外部URL、负载均衡、SSL/TLS、域名代理等）。
  • 功能需依赖Ingress Controller实现。

2. Ingress Controller（转发器）

  • 解析Ingress规则，实现反向代理与负载均衡，非K8s自带组件。
  • 常见实现：官方（GCE、ingress-nginx）、第三方。
  • 典型形态：Pod内运行“守护进程（监控集群生成配置）+ 反向代理（如Nginx）”，例如ingress-nginx动态生成Nginx配置并reload。

三、Ingress 工作原理

  1. Ingress Controller与APIServer交互，动态感知Ingress规则变化。
  2. 按规则生成Nginx配置，写入ingress-controller Pod的/etc/nginx.conf。
  3. 执行reload使配置生效，实现域名/路径分流与动态更新。

四、ingress-nginx-controller 部署

1. 准备清单

mkdir -p /opt/ingress && cd /opt/ingress
# 官方/国内镜像获取部署清单
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.25.0/deploy/static/mandatory.yaml
# 或国内镜像：wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.25.0/deploy/static/mandatory.yaml

2. 修改ClusterRole配置

在mandatory.yaml中为networking.k8s.io添加Ingress资源权限（0.25版本及以上）：

apiGroups:
- "extensions"
- "networking.k8s.io"  # 新增，支持networking.k8s.io API组
resources:
- ingresses
verbs:
- get
- list
- watch

五、Ingress 暴露服务的三种方式

方式一：Deployment + Service(type=LoadBalancer)

  • 适用场景：公有云。
  • 原理：通过Deployment部署Controller，创建LoadBalancer类型Service，云厂商自动生成LB并绑定公网IP，域名解析指向该IP即可暴露服务。

方式二：DaemonSet + HostNetwork + nodeSelector

  • 适用场景：大并发生产环境（性能最优）。
  • 特点：特定节点部署Controller，使用宿主机网络（直接占用80/443端口），链路最短，一个节点仅运行一个Controller Pod。
实施步骤：
  1. 给节点打标签（如仅在node02运行）：
    kubectl label node node02 ingress=true
  2. 修改mandatory.yaml：
    • 把kind: Deployment改为kind: DaemonSet，删除replicas。
    • 启用宿主机网络并指定节点：
      spec:
hostNetwork: true
nodeSelector:
ingress: "true"
  3. 加载镜像并启动，验证端口（80/443/8181/10254）：
    docker load -i ingree.contro.tar
kubectl apply -f mandatory.yaml
netstat -lntp | grep nginx  # 检查监听端口
  4. 创建Ingress规则（示例）：
    # networking.k8s.io/v1版本
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nginx-app-ingress
spec:
rules:
- host: www.benet.com
http:
paths:
- path: /
pathType: Prefix  # 前缀匹配（或Exact完全匹配）
backend:
service:
name: nginx-app-svc
port:
number: 80

方式三：Deployment + Service(type=NodePort)

  • 适用场景：无LB环境，需前置负载均衡。
  • 特点：通过NodePort暴露Controller，端口随机，多一层NAT，大流量可能影响性能。
实施步骤：
  1. 获取清单并部署：
    mkdir -p /opt/ingress-nodeport && cd /opt/ingress-nodeport
# 下载mandatory.yaml和service-nodeport.yaml（NodePort服务配置）
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml
docker load -i ingress-controller-0.30.0.tar
kubectl apply -f mandatory.yaml -f service-nodeport.yaml
  2. 测试访问：通过NodePort端口（如32383）访问，需配置hosts解析。

六、典型功能示例

1. 虚拟主机代理

通过不同域名转发到不同Service：

# 示例：www1.benet.com → svc-1；www2.benet.com → svc-2
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress1
spec:
rules:
- host: www1.benet.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: svc-1
port: {number: 80}
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress2
spec:
rules:
- host: www2.benet.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: svc-2
port: {number: 80}

2. HTTPS 代理

  • 生成自签证书并创建secret：
    openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc"
kubectl create secret tls tls-secret --key tls.key --cert tls.crt
  • Ingress配置：
    apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nginx-https
spec:
tls:  # 关联证书secret
- hosts: [www3.benet.com]
secretName: tls-secret
rules:
- host: www3.benet.com
http:
paths:
- path: /
pathType: Prefix
backend:
service: {name: nginx-svc, port: {number: 80}}

3. BasicAuth 认证

  • 生成认证文件并创建secret：
    yum install -y httpd
htpasswd -c auth zhangsan  # 生成auth文件
kubectl create secret generic basic-auth --from-file=auth
  • Ingress配置（添加认证注解）：
    apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress-auth
annotations:
nginx.ingress.kubernetes.io/auth-type: basic
nginx.ingress.kubernetes.io/auth-secret: basic-auth
nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required'
spec:
rules:
- host: auth.benet.com
http:
paths:
- path: /
pathType: Prefix
backend: {service: {name: nginx-svc, port: {number: 80}}}

4. 路径重写

通过注解配置重定向目标：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nginx-rewrite
annotations:
nginx.ingress.kubernetes.io/rewrite-target: http://www1.benet.com:32383  # 重定向目标
spec:
rules:
- host: re.benet.com
http:
paths:
- path: /
pathType: Prefix
backend: {service: {name: nginx-svc, port: {number: 80}}}

七、排错与检查

  1. 查看Controller状态：
    kubectl get pod -n ingress-nginx -o wide
kubectl get cm,daemonset -n ingress-nginx -o wide
  2. 检查Nginx配置：
    kubectl exec -it <controller-pod> -n ingress-nginx -- /bin/bash
  more /etc/nginx/nginx.conf  # 查看生成的配置
  3. 调度失败处理：若因nodeSelector不匹配，可给节点加对应标签或删除nodeSelector。

八、总结

  • 核心：Ingress = Ingress资源对象（规则） + Ingress Controller（转发实现）。
  • 选型建议：
    • 公有云：优先用Deployment + LoadBalancer。
    • 生产环境（大并发）：DaemonSet + HostNetwork（高性能）。
    • 无LB环境：Deployment + NodePort（需前置负载均衡）。
  • 生产加固：多节点部署、前置LB/高可用（LVS+keepalived）、监控（Prometheus采集10254端口）、TLS/认证/WAF防护。