[干货]kubenertes ingress负载grpc
概述
一般情况下，我们的系统对外暴露HTTP/HTTPS的接口，内部使用rpc(GRPC)通讯，这时GRPC在服务之间通过service访问，本地调试时通过service nodePort方式调用。
但随着业务壮大，需要跨集群的GRPC通讯，或者pod数量太多、nodePort端口管理混乱时，就可以考虑用ingress来统一管理和暴露GRPC服务了。
本文详细介绍如何在kubernetes用ingress负载grpc服务。
- 首先需要特别留意：ingress-nginx不支持负载明文的grpc（这个官方居然没明说，巨坑，详情请自行搜索github上的issues），所以只能在443端口上用TLS来负载。
搭建
生成公私钥
前面说了ingress只支持在443端口上负载加密的grpc，所以在正式搭建前需要准备一组公私钥。
这里我们可以自行生成一组普通的公私钥，下面的命令将在当前目录生成一组公私钥文件：
$ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout grpcs.key -out grpcs.crt -subj "/CN=*.grpcs.aurayou/O=grpcs.aurayou"
$ ls
grpcs.crt grpcs.key
参数说明：
- grpcs.key: 私钥文件名
- grpcs.crt: 公钥文件名
- .grpcs.aurayou: 域名后缀，后续所有使用此公私钥对的域名必须以.grpcs.aurayou为后缀
创建secret
将刚才生成的公私钥对导入k8s secret，创建名为grpcs-secret的secret：
$ kubectl create secret tls grpcs-secret --key grpcs.key --cert grpcs.crt
$ kube get secret
NAME TYPE DATA AGE
default-token-bhp5l kubernetes.io/service-account-token 3 88d
grpcs-secret kubernetes.io/tls 2 6h
创建ingress
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
annotations:
kubernetes.io/ingress.class: "nginx"
nginx.ingress.kubernetes.io/ssl-redirect: "true"
nginx.ingress.kubernetes.io/backend-protocol: "GRPC"
name: data-product
namespace: aurayou
spec:
rules:
- host: data-product.grpcs.aurayou
http:
paths:
- backend:
serviceName: data-product
servicePort: 50051
tls:
- secretName: grpcs-secret
hosts:
- data-product.grpcs.aurayou
参数说明：
- 启用nginx：kubernetes.io/ingress.class: "nginx"
- 启用TLS，下面两项2选1：
- 由nginx负责tls，服务内部还是用明文传输：nginx.ingress.kubernetes.io/ssl-redirect: "true"、nginx.ingress.kubernetes.io/backend-protocol: "GRPC"
- 由服务自行实现TLS，nginx只负责路由：nginx.ingress.kubernetes.io/backend-protocol: "GRPCS"
- 域名：rules.host、tls.hosts这两个是该grpc服务的ingress域名，可以自定义，但必须以前面生成公私钥对时使用的后缀结尾
- 服务: grpc服务的服务名和端口由rules.http.backend配置
- 公私钥: tls.secretName指向前面创建的grpcs-secret
注意：ingress-nginx的搭建，最好使用官方的yaml文件，自定义的配置可能会有冲突之处。
访问
前面已经搭建好了grpc服务的ingress，外部服务访问该ingress时，需要加载刚才生成的公钥文件，golang代码关键点：
- 访问明文的服务时，选项使用grpc.WithInsecure()
- 访问加密的ingress时，选项使用grpc.WithTransportCredentials，并用credentials.NewClientTLSFromFile加载前面生成的公钥并指定需要访问的域名
tcp_port := viper.GetString("server.tcp.port")
tcp_host := viper.GetString("server.tcp.host")
tcp_address := tcp_host + tcp_port
var dailOpts []grpc.DialOption
if tcp_port == ":443" {
// 走ingress 443端口，加密传输
// NewClientTLSFromFile()函数的参数1是前面生成的公钥文件，参数2是待访问的域名
creds, err := credentials.NewClientTLSFromFile("./grpcs.crt", "data-product.grpcs.aurayou")
if err != nil {
log.Fatalf("Failed to create TLS credentials %v", err)
}
dailOpts = append(dailOpts, grpc.WithTransportCredentials(creds))
} else {
// 访问明文的集群内部服务
dailOpts = append(dailOpts, grpc.WithInsecure())
}
// Set up a connection to the server.
conn, err := grpc.Dial(tcp_address, dailOpts...)
if err != nil {
log.Fatalf("did not connect: %v", err)
}
