利用 member update 实现 etcd 灾难恢复 [ 也可实现 etcd 集群迁移 ]
上集回顾
- etcd 集群出现了故障，节点启动会有如下报错，一般是 member 信息不匹配，导致了集群异常，无法重启 etcd 集群
member count is unequal
本集预告
- 如果
etcd有做过snapshot快照，可以直接新建一套集群，直接还原快照即可，有时候没有快照，或没来的及快照，集群已经出现了问题，此时可以通过保留的etcd data数据目录下的文件，配合新etcd集群，使用member update可以在保留etcd数据的情况下初始化集群数据，重新构建etcd集群- 无论是
kubeadm还是 二进制 的 k8s ，都可以通过这种方式来灾难恢复etcd集群，并且早期发现，在 pod 没有重启的情况下，也不会影响正在运行的 pod [会影响 master 组件的运行，因为 etcd 集群宕机，apiserver 服务会挂，也就无法使用 kubectl 命令管理 k8s 集群，当然，也无法使用 api 的方式，毕竟 apiserver 的端口也关了]
L(老)B(b)Z(真)S(帅) - 来吧展示
- 二进制部署的，担心配置文件修改不好的，可以看这篇文章
- 感谢这篇文章让我救活了我生产环境的 etcd
备份数据目录
kubeadm安装的，默认 etcd 数据目录在/var/lib/etcd目录下，二进制部署的，要查看service文件指定的--data-dir参数指向的路径- 对比一下，哪个目录最大，就备份哪个，目录最大的，数据最新
cp -r /var/lib/etcd/member /var/lib/member-bak
停止所有 etcd 服务
- 如果是 二进制 部署的，只需要
systemctl stop etcd即可，当然，以自己实际的环境为准，也许你的service文件配置的不是etcd.service- kubeadm 部署的，只需要把 etcd.yaml 从 manifests 目录下移走即可
- kubeadm 默认部署的路径是
/etc/kubernetes，记得检查自己的环境是否也是这个路径，不要只管 cv，啥也不看
mv /etc/kubernetes/manifests/etcd.yaml /etc/kubernetes/
检查 etcd 是否都已经关闭
# 这个方法只适合 kubeadm 部署的 k8s 环境，二进制的，需要通过 'ps -ef | grep etcd' 命令查看 etcd 进程是否还存在来验证
docker ps -a | grep etcd
创建新 etcd 节点
切记，先配置并启动一个节点的 etcd，要等这个单节点 etcd 启动成功后，再做后面的节点加入操作
- 如果是修复数据，可以在原节点操作，并且不需要使用
member update命令- 如果是做 etcd 数据迁移，配置好新节点的一个 etcd 节点即可，数据迁移需要使用
member update命令
单节点 etcd
- 如果是 二进制
etcd，需要修改service文件- 如果是
kubeadm部署的k8s，需要修改前面移走的etcd.yaml文件，然后放到manifests目录下来启动etcd
注意以下配置，修改之前先备份一份， service 文件也记得备份，我的环境是 kubeadm 的，懒得搞一个二进制环境了，理解思路才是最重要的
cp etcd.yaml{,.bak}
vim etcd.yaml
- 增加
--force-new-cluster参数，这个参数，在 etcd 单节点启动成功后，再删掉，然后重启 etcd
- 这个参数的意义是
强制删除集群中的所有成员，并把自己加入到集群成员中- 增加
--initial-cluster-state=new参数
new-成员设置为 new，而不是加入已有集群existing-成员加入已有 etcd 集群
spec:
containers:
- command:
- etcd
- --advertise-client-urls=https://192.168.11.135:2379
- --cert-file=/etc/kubernetes/pki/etcd/server.crt
- --client-cert-auth=true
- --data-dir=/var/lib/etcd
- --initial-advertise-peer-urls=https://192.168.11.135:2380
- --initial-cluster=master-01=https://192.168.11.135:2380
- --key-file=/etc/kubernetes/pki/etcd/server.key
- --listen-client-urls=https://127.0.0.1:2379,https://192.168.11.135:2379
- --listen-metrics-urls=http://127.0.0.1:2381
- --listen-peer-urls=https://192.168.11.135:2380
- --name=master-01
- --peer-cert-file=/etc/kubernetes/pki/etcd/peer.crt
- --peer-client-cert-auth=true
- --peer-key-file=/etc/kubernetes/pki/etcd/peer.key
- --peer-trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
- --snapshot-count=10000
- --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
# 主要是这两个参数，上面的以自己环境的为准，都配置为当前节点的 ip，和自己的证书路径
- --initial-cluster-state=new
- --force-new-cluster
启动 etcd 服务，切记，就启动一个节点，其他节点，等这个单节点启动成功后，需要修改配置才可以加入到这个单节点的 etcd ，然后才能组成一套集群
cp /etc/kubernetes/etcd.yaml /etc/kubernetes/manifests/
查看 etcd 是否启动成功
二进制部署的，可以看进程或者端口，kubeadm 部署的，使用下面的方式
docker ps -a | grep etcd
查看 member 信息
本地如果没有 etcdctl 命令，可以从容器内复制一个 [ 二进制部署的，一般都自带 etcdctl 命令，如果没有的话，下载一个二进制文件就可以了 ]
docker cp $(docker ps | awk '/etcd --/ {print $1}'):/usr/local/bin/etcdctl /etc/kubernetes/pki/etcd/etcdctl
chmod +x /etc/kubernetes/pki/etcd/etcdctl
cd /etc/kubernetes/pki/etcd/
# ip 和证书改为自己环境的配置，切莫纯 cv
./etcdctl \
--cacert ./ca.crt \
--cert ./server.crt \
--key ./server.key \
--endpoints https://192.168.11.135:2379 \
member list
可以看到，
peerurl的 ip 和server的 ip 是不一样的
cde66358cffbaacf, started, master-01, https://192.168.11.131:2380, https://192.168.11.135:2379, false
执行
member update命令来更新peerurl的地址
# ip 和证书改为自己环境的配置，member id 也已自己上面的命令获取的为准，切莫纯 cv
./etcdctl \
--cacert ./ca.crt \
--cert ./server.crt \
--key ./server.key \
--endpoints https://192.168.11.135:2379 \
member update cde66358cffbaacf --peer-urls=https://192.168.11.135:2380
删除
-force-new-cluster参数，避免下次 etcd 重启的时候，集群成员被初始化，这里就不留下我的操作足迹了，但是大家一定一定要记得删掉这个参数，然后重启 etcd
将其他成员加入到 etcd 集群
下面的操作，还是继续在已经启动的这个单节点的 etcd 机器上操作，也可以在其他节点操作，只要有证书，有 etcdctl 命令，哪里都可以操作
# ip 和证书改为自己环境的配置，切莫纯 cv
./etcdctl \
--cacert ./ca.crt \
--cert ./server.crt \
--key ./server.key \
--endpoints https://192.168.11.135:2379 \
member add master-02 --peer-urls=https://192.168.11.133:2380
准备加入的节点，记得 etcd 的 data 目录下不要有数据
下面的操作在 需要加入 etcd 成员的节点操作
确保 data 目录为空
rm -rf /var/lib/etcd/member/*
vim etcd.yaml
- 增加
--initial-cluster-state=new参数
new-成员设置为 new，而不是加入已有集群existing-成员加入已有 etcd 集群
spec:
containers:
- command:
- etcd
- --advertise-client-urls=https://192.168.11.133:2379
- --cert-file=/etc/kubernetes/pki/etcd/server.crt
- --client-cert-auth=true
- --data-dir=/var/lib/etcd
- --initial-advertise-peer-urls=https://192.168.11.133:2380
- --initial-cluster=master-02=https://192.168.11.133:2380,master-01=https://192.168.11.135:2380
# 需要增加这个参数，切记，不能是 new，要是 existing，不然 etcd 会起不来
- --initial-cluster-state=existing
- --key-file=/etc/kubernetes/pki/etcd/server.key
- --listen-client-urls=https://127.0.0.1:2379,https://192.168.11.133:2379
- --listen-metrics-urls=http://127.0.0.1:2381
- --listen-peer-urls=https://192.168.11.133:2380
- --name=master-02
- --peer-cert-file=/etc/kubernetes/pki/etcd/peer.crt
- --peer-client-cert-auth=true
- --peer-key-file=/etc/kubernetes/pki/etcd/peer.key
- --peer-trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
- --snapshot-count=10000
- --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
重启 etcd ，查看 etcd 是否正常
# ip 和证书改为自己环境的配置，切莫纯 cv
./etcdctl \
--cacert ./ca.crt \
--cert ./server.crt \
--key ./server.key \
--endpoints https://192.168.11.135:2379 \
member list
可看到，两个节点都是 started 状态了，如果还有节点需要加入，重复执行成员加入 etcd 集群的操作即可
47785658ea2ca7f0, started, master-02, https://192.168.11.133:2380, https://192.168.11.133:2379, false
cde66358cffbaacf, started, master-01, https://192.168.11.135:2380, https://192.168.11.135:2379, false
