KubeEdge EdgeMark 测试环境从零开始搭建
https://blog.csdn.net/u010549795/article/details/132557648
EdgeMark测试环境从零开始搭建
KubeEdge也提供了类似KubeMark的模拟大规模集群的工具，值得注意的是目前EdgeMark只能模拟edgecore，无法模拟edgemesh，所以如果是对网络方面的测试，还是建议老老实实装虚拟机
环境配置
使用virtualbox搭建模拟网络环境，虚拟机双网卡，网卡1使用nat转换上互联网，网卡2使用hostonly网络（192.168.56.0/24）组成局域网
软件配置，由于兼容性问题，使用kubernetes1.23，KubeEdge1.13.1
主机名 IP 操作系统
master-KubeEdge 192.168.56.2 Ubuntu20.04
master-K8s 192.168.56.3 Ubuntu20.04
master-K8s集群里面的pod要能直接访问master-KubeEdge，所以需要对网络进行一些配置（实际上不需要，可能是因为KubeEdge自带云边通信隧道可以穿透）
我们在master-KubeEdge集群里面使用flannel网络插件，而对于外部master-K8s集群，还是使用CNI，可以直接访问主机网络IP地址192.168.56.2
很神奇，没想明白，但是就是可以用
初始化系统配置
所有主机修改主机名
sudo hostnamectl set-hostname master
reboot
1
2
所有主机关闭防火墙
sudo systemctl stop ufw
sudo systemctl disable ufw
1
2
所有主机禁用swap
sudo vi /etc/fstab
# 注释swap那一行
sudo swapon -a # 启用所有swap
sudo swapoff -a # 禁用所有swap
sudo swapon -s # 查看swap状态
1
2
3
4
5
所有主机设置时间同步
sudo apt install -y ntpdate
sudo ntpdate time.windows.com
sudo timedatectl set-timezone Asia/Shanghai
1
2
3
所有节点添加hosts
# 添加hosts
sudo vi /etc/hosts
# 加入如下几行
185.199.108.133 raw.githubusercontent.com
1
2
3
4
启用ipv4转发
sudo vi /etc/sysctl.conf
# 注释下面行
/etc/sysctl.conf: net.ipv4.ip_forward = 1
sudo sysctl -p /etc/sysctl.conf
1
2
3
4
安装Docker
我们选择安装docker.io ubuntu的版本，省事
记住，需要在所有2台节点上都安装docker
sudo apt install docker.io
1
docker官方镜像仓库访问比较慢，可以使用dockerhub国内源加速
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://knjsrl1b.mirror.aliyuncs.com","https://docker.hub.com"]
}
EOF
# 阿里云镜像加速 https://knjsrl1b.mirror.aliyuncs.com
# 中科大镜像加速 https://docker.mirrors.ustc.edu.cn
# 云节点加入"exec-opts": ["native.cgroupdriver=systemd"],
# 边缘节点默认cgroupfs就行了，和kubeedge一致
sudo systemctl daemon-reload
sudo systemctl restart docker
1
2
3
4
5
6
7
8
9
10
11
12
主机安装Kubernetes
考虑到兼容性，我们选择kubernetes1.23.17进行安装
根据阿里云的教程，在2台主机上，使用阿里源安装kubelet，kubeadm和kubectl组件
sudo apt-get update && apt-get install -y apt-transport-https
sudo curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
sudo vi /etc/apt/sources.list.d/kubernetes.list
# 输入以下内容：
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
sudo apt update
# 可先使用apt list kubelet -a 查看所有版本，再指定版本
sudo apt install -y kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00
```# EdgeMark测试环境搭建
KubeEdge也提供了类似KubeMark的模拟大规模集群的工具，值得注意的是目前EdgeMark只能模拟edgecorem，无法模拟edgemesh，所以如果是对网络方面的测试，还是建议老老实实装虚拟机
## 环境配置
使用virtualbox搭建模拟网络环境，虚拟机双网卡，网卡1使用nat转换上互联网，网卡2使用hostonly网络（192.168.56.0/24）组成局域网
软件配置，由于兼容性问题，使用kubernetes1.23，KubeEdge1.13.1
| 主机名 | IP | 操作系统 |
| --------------- | ------------ | ----------- |
| master-KubeEdge | 192.168.56.2 | Ubuntu20.04 |
| master-K8s | 192.168.56.3 | Ubuntu20.04 |
master-K8s集群里面的pod要能直接访问master-KubeEdge，所以需要对网络进行一些配置（实际上不需要，可能是因为KubeEdge自带云边通信隧道可以穿透）
我们在master-KubeEdge集群里面使用flannel网络插件，而对于外部master-K8s集群，还是使用CNI，可以直接访问主机网络IP地址192.168.56.2
**很神奇，没想明白，但是就是可以用**
## 初始化系统配置
所有主机修改主机名
```bash
sudo hostnamectl set-hostname master
reboot
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
所有主机关闭防火墙
sudo systemctl stop ufw
sudo systemctl disable ufw
1
2
所有主机禁用swap
sudo vi /etc/fstab
# 注释swap那一行
sudo swapon -a # 启用所有swap
sudo swapoff -a # 禁用所有swap
sudo swapon -s # 查看swap状态
1
2
3
4
5
所有主机设置时间同步
sudo apt install -y ntpdate
sudo ntpdate time.windows.com
sudo timedatectl set-timezone Asia/Shanghai
1
2
3
所有节点添加hosts
# 添加hosts
sudo vi /etc/hosts
# 加入如下几行
185.199.108.133 raw.githubusercontent.com
1
2
3
4
启用ipv4转发
sudo vi /etc/sysctl.conf
# 注释下面行
/etc/sysctl.conf: net.ipv4.ip_forward = 1
sudo sysctl -p /etc/sysctl.conf
1
2
3
4
安装Docker
我们选择安装docker.io ubuntu的版本，省事
记住，需要在所有2台节点上都安装docker
sudo apt install docker.io
1
docker官方镜像仓库访问比较慢，可以使用dockerhub国内源加速
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://knjsrl1b.mirror.aliyuncs.com","https://docker.hub.com"]
}
EOF
# 阿里云镜像加速 https://knjsrl1b.mirror.aliyuncs.com
# 中科大镜像加速 https://docker.mirrors.ustc.edu.cn
# 云节点加入"exec-opts": ["native.cgroupdriver=systemd"],
# 边缘节点默认cgroupfs就行了，和kubeedge一致
sudo systemctl daemon-reload
sudo systemctl restart docker
1
2
3
4
5
6
7
8
9
10
11
12
主机安装Kubernetes
考虑到兼容性，我们选择kubernetes1.23.17进行安装
根据阿里云的教程，在2台主机上，使用阿里源安装kubelet，kubeadm和kubectl组件
sudo apt-get update && apt-get install -y apt-transport-https
sudo curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
sudo vi /etc/apt/sources.list.d/kubernetes.list
# 输入以下内容：
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
sudo apt update
# 可先使用apt list kubelet -a 查看所有版本，再指定版本
sudo apt install -y kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00
1
2
3
4
5
6
7
8
在云master主机上使用kubeadm创建kubernetes集群，这里我们使用阿里云的镜像进行加速，这里kubeadm会安装和自己版本匹配的kubernetes
对master-KubeEdge，初始化如下：
sudo kubeadm init \
--apiserver-advertise-address=192.168.56.2 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
1
2
3
4
5
执行完毕会输出很多提示指令需要我们执行
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.56.2:6443 --token iwmho3.xxbh31t7134rc2zi \
--discovery-token-ca-cert-hash sha256:ac80680b9eec7d102751d55a99a07e6c9a7b2022abb68a75fbcb6b88cbb3978c
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
对master-K8s，初始化如下：
sudo kubeadm init \
--apiserver-advertise-address=192.168.56.3 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
1
2
3
4
5
执行完毕会输出很多提示指令需要我们执行
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.56.3:6443 --token aekzd4.fp0e0y3q67gwhp11 \
--discovery-token-ca-cert-hash sha256:0e2a61b06cee8ed5e4067b3b0d49adce92a04432b53a1935fb5d6daab8a1d700
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
我们按照提示在普通用户和root用户下都执行一次，这样kubectl就可以访问到本地的kube-api-server了
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
1
2
3
我们接着安装CNI网络插件，下载太慢了可以使用这个网站查询raw.githubusercontent.com的IP地址并且写入hosts文件。
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
vi kube-flannel.yml
# kubectl edit -n kube-flannel daemonset.apps/kube-flannel-ds
......# 对于master-KubeEdge，修改下面的affinity亲和性，增加一个key使其不部署于边缘节点
- key: node-role.kubernetes.io/edge
operator: DoesNotExist
......
kubectl apply -f kube-flannel.yml
1
2
3
4
5
6
7
8
执行kubectl get pods -n kube-flannel如果出现如下说明网络插件安装成功
...
kube-flannel-ds-hgn9l 1/1 Running 0 44m
...
1
2
3
让master也作为工作节点可以运行用户Pod
kubectl taint node master node-role.kubernetes.io/master-
1
让master不参与运行用户Pod
kubectl taint node master node-role.kubernetes.io/master=:NoSchedule
1
过一会，在master主机上执行kubectl get nodes，如下则加入成功
kubectl get node
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 13m v1.22.15
1
2
3
安装KubeEdge
kubeEdge和kubernetes类似，提供了keadm工具用来快速搭建kubeedge集群，我们可以提前在KubeEdge的github官网上面下载keadm1.13.1，建议使用下载工具，速度快
wget https://github.com/kubeedge/kubeedge/releases/download/v1.13.1/keadm-v1.13.1-linux-amd64.tar.gz
1
在master-KubeEdge节点上安装keadm
tar -xvf keadm-v1.13.1-linux-amd64.tar.gz
sudo mv keadm-v1.13.1-linux-amd64/keadm/keadm /usr/bin/
1
2
使用keadm安装kubeedge的云端组件cloudcore
如果速度慢可以提前拉取cloudcore镜像
sudo docker pull kubeedge/cloudcore:v1.13.1
1
sudo keadm init --advertise-address=192.168.56.2 --profile version=v1.13.1
# 这些参数已经没有用了 --set cloudcore-tag=v1.13.1 --kubeedge-version=1.13.1
Kubernetes version verification passed, KubeEdge installation will start...
CLOUDCORE started
=========CHART DETAILS=======
NAME: cloudcore
LAST DEPLOYED: Thu Nov 3 11:05:24 2022
NAMESPACE: kubeedge
STATUS: deployed
REVISION: 1
1
2
3
4
5
6
7
8
9
10
–advertise-address=xxx.xx.xx.xx 这里的xxx.xx.xx.xx换成云主机的公网地址，–profile version=v1.12.1 意思是指定安装的kubeEdge的版本，如果默认不指定那么keadm会自动去下载最新的版本
注意，这个命令会从仓库下载cloudcore容器镜像
我们可以看到cloudcore的Pod和service已经在运行了，cloudcore会监听本地的10000-10004端口
kubectl get pod,svc -n kubeedge
NAME READY STATUS RESTARTS AGE
pod/cloudcore-5768d46f8d-fqdcn 1/1 Running 0 78s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/cloudcore ClusterIP 10.99.61.17 <none> 10000/TCP,10001/TCP,10002/TCP,10003/TCP,10004/TCP 78s
1
2
3
4
5
6
获得边缘设备接入的token
sudo keadm gettoken
56f840b308cdb7675acbf25e77eab230dde06513162692ff62e49fa30093fda6.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2OTMyODAyNjF9.QTd-Uz6gcnlLP4t7bljCEOlSy3Ywnp3nsX6_Bwd1vuo
1
2
编译Edgemark
解决alpine下载软件包速度太慢，修改kubeedge/build/edgemark/Dockerfile文件，使用国内镜像源，最后修改如下
ARG BUILD_FROM=golang:1.17.13-alpine3.16
FROM ${BUILD_FROM} AS builder
ARG GO_LDFLAGS
COPY . /go/src/github.com/kubeedge/kubeedge
# 加上这一行
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.tuna.tsinghua.edu.cn/g' /etc/apk/repositories
RUN apk --no-cache update && \
apk --no-cache upgrade && \
apk --no-cache add build-base linux-headers sqlite-dev binutils-gold && \
CGO_ENABLED=1 GO111MODULE=off go build -v -o /usr/local/bin/edgemark -ldflags="${GO_LDFLAGS} -w -s -extldflags -static" \
github.com/kubeedge/kubeedge/edge/cmd/edgemark
FROM alpine:3.16
COPY --from=builder /usr/local/bin/edgemark /usr/local/bin/edgemark
ENTRYPOINT ["edgemark"]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
必须使用root用户下载和编译，否则git报错
首先安装必要的包
apt install git build-essential docker.io jq
1
docker记得改国内源
克隆最新仓库
git clone https://github.com/kubeedge/kubeedge.git
cd kubeedge
1
2
编译
# 编译cloudcore
make all WHAT=cloudcore
# 编译edgecore
make all WHAT=edgecore
# 编译edgemark
make all WHAT=edgemark
# 编译edgemark容器镜像
make image WHAT=edgemark
1
2
3
4
5
6
7
8
构建容器镜像
make image WHAT=edgemark
1
将kubeedge/hack/lib/golang.sh229行中间的空格删除，最后编译成功
goldflags="${GOLDFLAGS=-s -w -buildid=}$(kubeedge::version::ldflags)"
1
verify可以在build文件夹下生成dockerfile打包文件
make verify
1
test对生成的二进制文件进行测试
make test
1
安装ginkgo测试框架
go install github.com/onsi/ginkgo/v2/ginkgo
go get github.com/onsi/gomega/...
1
2
集成测试
make integrationtest
1
部署hollow节点
参考KubeEdge官方指南，在master-KubeEdge上执行，导出tokensecret
# 保存访问cloudcore的tokensecret
kubectl get secret -nkubeedge tokensecret -oyaml > tokensecret.yaml
# 修改tokensecret.yaml文件中的命名空间
sed -i "s|namespace: .*|namespace: edgemark|g" tokensecret.yaml
# 建议删除namespace这一行，直接在default空间里访问secret
1
2
3
4
5
将tokensecret.yaml复制到外部的master-K8s
scp tokensecret.yaml root@192.168.56.3:~
1
然后在外部的master-K8s上执行
kubectl create ns edgemark
kubectl create -f tokensecret.yaml
1
2
用yaml文件创建hollow节点，可参考官方示例，我们进行修改
vi hollow-edge-node_template.yaml
1
输入如下内容
kind: Deployment
apiVersion: apps/v1
metadata:
name: hollow-edge-node
spec:
replicas: 10
selector:
matchLabels:
app: hollow-edge-node
template:
metadata:
labels:
app: hollow-edge-node
spec:
containers:
- name: hollow-edgecore
image: kubeedge/edgemark:v1.13.1
command:
- edgemark
args:
- --token=$(TOKEN)
- --name=$(NODE_NAME)
- --http-server=https://192.168.56.2:10002
- --websocket-server=192.168.56.2:10000
env:
- name: NODE_NAME
valueFrom:
fieldRef:
apiVersion: v1
fieldPath: metadata.name
- name: TOKEN
valueFrom:
secretKeyRef:
name: tokensecret
key: tokendata
resources:
requests:
cpu: 20m
memory: 50M
securityContext:
privileged: true
tolerations:
- effect: NoExecute
key: node.kubernetes.io/unreachable
operator: Exists
- effect: NoExecute
key: node.kubernetes.io/not-ready
operator: Exists
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
参数 {{numreplicas}} 表示的是edgemark集群中hollow节点的数量
参数 {{server}} 是cloudcore暴露的地址，等待边缘节点join
参数 {{server}} , {{numreplicas}} , {{edgemark_image_registry}} and {{edgemark_image_tag}} 需要填充
你的真实集群要有足够的资源来运行 {{numreplicas}} 数量的 hollow-node pods
最后，用命令创建hollow-node pods就可以了
kubectl apply -f hollow-edge-node_template.yaml
1
可以看到pod都运行起来了
kubectl get pod -A
NAMESPACE NAME READY STATUS RESTARTS AGE
default hollow-edge-node-5599d47745-492q5 1/1 Running 0 9s
default hollow-edge-node-5599d47745-7gfkk 1/1 Running 0 9s
default hollow-edge-node-5599d47745-954cs 1/1 Running 0 9s
default hollow-edge-node-5599d47745-cdpx9 1/1 Running 0 9s
default hollow-edge-node-5599d47745-cw57s 1/1 Running 0 9s
default hollow-edge-node-5599d47745-kwkfr 1/1 Running 0 9s
default hollow-edge-node-5599d47745-mhlp8 1/1 Running 0 9s
default hollow-edge-node-5599d47745-sk7kh 1/1 Running 0 9s
default hollow-edge-node-5599d47745-ttj6m 1/1 Running 0 9s
default hollow-edge-node-5599d47745-vkw2f 1/1 Running 0 9s
1
2
3
4
5
6
7
8
9
10
11
12
然后在master-KubeEdge上就可以看到虚拟节点了
kubectl get node -owide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
hollow-edge-node-5599d47745-492q5 Ready agent,edge 10s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.39 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-7gfkk Ready agent,edge 11s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.36 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-954cs Ready agent,edge 11s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.37 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-cdpx9 Ready agent,edge 10s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.42 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-cw57s Ready agent,edge 12s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.34 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-kwkfr Ready agent,edge 10s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.40 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-mhlp8 Ready agent,edge 10s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.41 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-sk7kh Ready agent,edge 11s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.35 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-ttj6m Ready agent,edge 11s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.38 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
hollow-edge-node-5599d47745-vkw2f Ready agent,edge 10s v1.23.15-kubeedge-v1.13.1-dirty 10.244.0.43 <none> Debian GNU/Linux 7 (wheezy) 3.16.0-0.bpo.4-amd64 fakeRuntime://0.1.0
master Ready control-plane,master 25h v1.23.17 10.0.2.15 <none> Ubuntu 20.04.5 LTS 5.4.0-125-generic docker://20.10.25
1
2
3
4
5
6
7
8
9
10
11
12
13
大功告成！！
在云master主机上使用kubeadm创建kubernetes集群，这里我们使用阿里云的镜像进行加速，这里kubeadm会安装和自己版本匹配的kubernetes
