etcd介绍

【1】etcd介绍

（1.1）etcd简单介绍

etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。

etcd内部采用 raft 协议作为一致性算法，etcd基于Go语言实现。

优点：

简单。使用Go编写部署简单；使用HTTP作为接口使用简单；使用Raft算法保证强一致性让用户易于理解。
数据持久化。 etcd默认数据一更新就进行持久化。
安全。 etcd支持SSL客户端安全认证。

核心词汇：高可用、强一致性、KV数据存储；

　　适合存储少量核心重要数据；

　　不适合存储大量数据；

etcd作为服务发现系统，有以下的特点：

简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单
安全：支持SSL证书验证
快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操作
可靠：采用raft算法，实现分布式系统数据的可用性和一致性

（1.2）etcd常见应用场景

1. 服务注册与服务发现　　：为了解决微服务场景下，服务地址的注册和发现问题。和配置中心功能类似，不同之处在于服务注册和服务发现，还伴随着状态检测。

用户可以在etcd中注册服务，并且对注册的服务配置key TTL，定时保持服务的心跳以达到监控健康状态的效果。

2. leader选举组件：分布式场景下，常采用leader-follower模式来保证有状态服务的高可用（即使leader挂掉，其他follower立马补上），比如k8s和kafka partition高可用机制。

　　　　　　可以很方便的借助etcd来实现leader选举机制，这里有个leader election实现：https://github.com/willstudy/leaderelection

3. 配置中心　　：etcd是一个分布式的键值存储系统，其优秀的读写性能、一致性和可用性的机制，非常适合用来做配置中心角色。

4. 分布式锁　　：etcd的强一致性保证，可以用来做分布式场景下的同步机制保证。

5. 消息订阅和发布　　：etcd内置watch机制，完全可以实现一个小型的消息订阅和发布组件。

6. more and more　　：etcd优秀的特性，适合的场景很多。

详情：

1. 服务发现服务发现（Service Discovery）

要解决的是分布式系统中最常用的问题之一，即在同一个分布式集群中的进程或服务如何才能找到对方并建立连接。

从本质上说，服务发现就是想要了解集群中是否有进程在监听udp或tcp端口，并且通过名字就可以进行查找和连接。要解决服务发现的问题，需要有三大支柱：

（1）一个强一致性、高可用的服务存储目录。基于Raft算法的etcd天生就是这样一个强一致性高可用的服务存储目录。

（2）一种注册服务和监控服务健康状态的机制。用户可以在etcd中注册服务，并且对注册的服务设置key TTL，定时保持服务的心跳以达到监控健康状态的效果

（3）一种查找和连接服务的机制。通过在etcd指定的主题下注册的服务也能在对应的主题下查找到。

为了确保连接，可以在每个服务器上部署一个proxy模式的etcd，这样就可以确保能访问etcd集群的服务都能互相连接。下面我们一起看服务发现对应的具体应用场景。

（1）微服务协同工作架构中，服务动态添加。

多种微服务共同协作，构成一个功能相对强大的架构的案例越来越多。透明化的动态添加这些服务的需求也日益强烈。通过服务发现机制，在etcd中注册某个服务名字的目录，在该目录下存储可用的服务节点的IP。在使用服务的过程中，只要从服务目录下查找可用的服务节点进行使用即可。

（2）PaaS平台中应用多实例与实力故障重启透明化。

PaaS平台中的应用一般都有多个实例，通过域名，不仅可以透明地对多个实例进行访问，而且还可以实现负载均衡。但是应用的某个实例随时都有可能故障重启，这时就需要动态地配置域名解析中的信息。通过etcd的服务发现功能就可以轻松解决这个动态配置的问题。

2. 信息发布与订阅

在分布式系统中，最为适用的组件见通信方式是消息发布与订阅机制。具体而言，即构建一个配置共享中心，数据提供者在这个配置中心发布信息，而信息使用者则订阅他们关心的主题，一旦相关主题有信息发布，就会实时通知订阅者。通过这种方式可以实现分布式系统配置的集中式管理与实时动态更新。

（1）应用中用到的一些信息存放在etcd上进行集中管理。这类场景的使用方式通常是这样的：应用在启动的时候主动从etcd获取一次配置信息，同时，在etcd节点上注册一个watcher并等待，以后每次配置有更新的时候，etcd都会实时通知订阅者，以此达到获取最新配置信息的目的。

（2）分布式搜索服务中，索引的源信息和服务器集群的节点状态信息存放在etcd中，供各个客户端订阅使用。使用etcd的key TTL供可以确保机器状态是实时更新的。

（3）分布式日志收集系统。这个系统的核心工作是收集分布在不同机器上的日志。收集器通常按照应用（或主题）来分配收集任务单元，因此可以在etcd上创建一个以应用（或主题）命名的目录P，并将这个应用相关的所有机器IP，以子目录的形式存储在目录P下，然后设置一个递归的etcd Watcher，递归式地监控应用目录下所有信息的变动。这样就试下了在机器IP（信息）发生变动时，能够实时通知收集器调整任务分配。

（4）系统中信息需要动态自动获取与人工干预修改信息请求内容的情况。通常的解决方案是对外暴露接口，来获取一些运行时的信息或提交修改的请求，而引入etcd之后，只需要将这些信息存放到指定的etcd目录中，即可通过HTTP接口直接被外部访问。

3. 负载均衡

本节的负载均衡指软负载均衡。在分布式系统中，为了保证服务的高可用以及数据的一致性，通常都会把数据和服务部署多份，以此达到对等服务，即使其中的某一个服务失效了，也不影响使用。这样的实现虽然会导致一定程度上数据写入性能的下降，但是却能实现数据访问时的负载均衡。因为每个对等服务节点上都存有完整的数据，所以用户的访问流量就可以分流到不同的机器上。

（1）etcd本身分布式架构存储的信息访问支持负载均衡。etcd集群化以后，每个etcd的核心节点都可以处理用户的请求。所以，把数据量小但是访问频繁的消息数据直接存储到etcd中也是个不错的选择。

（2）利用etcd维护一个负载均衡节点表。etcd可以监控一个集群中多个节点的状态，当有一个请求发过来后，可以轮询式地把请求转发给存活着的多个节点。

4. 分布式通知与协调

与消息发布和订阅有些相似。两者都使用了etcd的watcher机制，通过注册于异步通知截止，实现分布式环境下不同系统之间的通知与协调，从而对数据变更进行实时处理。实现方式通常为：不同系统都在etcd上对同一个目录进行注册，同时设置watcher监控该目录的变化，当某个系统更新了etcd的目录，那么设置了watcher的系统就会收到通知，并作出相应处理。

（1）通过etcd记性低耦合的心跳检测。检测系统和被检测系统通过etcd上某个目录关联而非直接关联起来，这样可以大大减少系统的耦合性。

（2）通过etcd完成系统调度。某系统有控制台和推送系统两部分组成，控制台的职责是控制推送系统进行相应的推送工作。管理人员在控制台做的一些操作，实际上只需要修改etcd上某些目录节点的状态，而etcd就会自动把这些变化通知给注册了watcher的推送客户端，推送系统再做出相应的推送任务。

（3）通过etcd完成工作汇报。大部分类似的任务分发系统，子任务启动后，到etcd来注册一个临时工作目录，并且定时将自己的精度进行汇报（将精度写入到这个临时目录），这样任务管理者就能够实时知道任务进度。

5. 分布式锁

因为etcd使用Raft算法保持了数据的强一致性，某次操作存储到集群中的值必然是全局一致的，所以很容易实现分布式锁。锁服务有两种使用方式，一是保持独占，二是控制时序。

（1）保持独占，即所有试图获取锁的用户最终只有一个可以得到。etcd为此提供了一套实现分布式锁原子操作CAS的API。通过设置prevExist值，可以保证在多个节点同时创建某个目录时，只有一个成功，而该用户即可认为是获得了锁。

（2）控制时序，即所有试图获取锁的用户都会进入等待队列，获得锁的顺序是全局唯一的，同时决定了队列执行顺序。etcd为此也提供了一套API。

（1.3）基本使用（增删查改、事务、版本）

基本操作：

基本使用，put/get/del / watch

事务：会有compares =》 success requests / failure requests 三个判断步骤（txn 开启事务，-i 是交互式事务）

　　　　　　同时compares 也可以用 create("key") = "47" key的版本信息，mod(key) key的修改版本

【2】etcd集群架构（体系结构）

（2.1）架构的组件

（1）gPRC Server： 响应接收客户端连接请求，集群节点之间的通信

（2）wal（预写式日志）：用来保证强一致性；log cache=》收到请求命令信息后（增删改），操作信息以append方式记录日志；

在集群模式，主库会把日志信息发送到从库，有一半及以上节点收到并回复主节点确认已收到后，把请求进行提交；（其实就是mysql的半同步形式）

然后再把 log cache 持久化到 log file;

（3）snapshot：快照数据，与redis差别不大，用来主从复制中的主从初始化；

（4）boltdb：

　　key的存储：每个key就是一个索引，用b+树结构，因为它会存储key每一次操作的历史操作（get key -w josn 显示版本信息，get key --rev=47 获取key的历史版本值）

　　事务：会有compares =》 success requests / failure requests 三个判断步骤（txn 开启事务，-i 是交互式事务）

　　　　　　同时compares 也可以用 create("key") = "47" key的版本信息，mod(key) key的修改版本

（2.2）一个请求的处理过程

1》client：发起请求到 gRPC Server

2》gRPC Server：接受连接请求，然后把请求命令信息发到主库的 wal 日志文件

3》wal：把请求命令信息广播同步到从库，有一半及以上从库收到且落盘到wal文件后，返回同意确认标识给主库

4》主库对命令请求进行提交落盘，然后再次广播给从库让从库也提交落盘

5》返回给客户端

（2.3）集群节点的状态

《1》followers：从节点《2》candidate：候选者《3》leader：主节点

leader election：当主库无响应；=》flowers 变成 candidate =》然后根据多数的 vote 票数后 =》 candidate 变成 leader

数据变更：所有的数据变更，都是先修改 leader，然后 leader同步到其他 followers；

（2.4）集群提交/选举详细原理

【1】leader选举：

2个超时字段：

一般选举超时是心跳超时的10倍

（1）选举超时（election timeout）：选举时使用，这个时间是随机的，默认1000ms（v3.5）；

当我们的选举超时最先过期的 follower 自动立马变成候选者（candidate）；
然后开始新一轮的选举任期（term），term+1 ，（该值会主从复制同步给从库）
重新随机选举超时
该 candidate 节点会给自己投一票，然后广播给其他节点拉票
其他 follower 节点收到拉票后，重置选举超时，然后如果手里有票，那么就给发起拉票的节点投票
- 每个人手里只有一张票
- 只有候选者才能给自己投票且
- 当收到被人的拉票后，只要手里有票，谁先发过就给谁投

（2）心跳超时（heartbeat timeout）：检测节点之间网络是否正常，默认100ms（v3.5）

当 follower 收到 leader的数据同步包，都会重置两个超时事件；

平票案例：

　　如果 3个节点的集群，leader挂了；2个 follower 恰巧同时成为了 candidate ；

　　这时候2个节点各自拥有一票，要是这样成了，那不是会脑裂？

　　这个时候，会重新重置选票，然后重置，选举超时，再来一轮，新一轮谁先成为 candidate，那么谁就是主；

　　要是依旧那么巧，又同时，那么继续上一行内容的行为，以此反复直到会有一个人先成为 candidate；（每有一次这种情况，term同时也会+1 ）

（2.5）主从日志复制

1》client：发起请求到 gRPC Server

2》gRPC Server：接受连接请求，然后把请求命令信息发到主库的 wal

3》wal：把请求命令信息广播同步到从库，有一半及以上从库收到同意后，返回同意确认标识给主库

4》主库对命令请求进行提交落盘然后再次广播给从库让从库也提交落盘

5》返回给客户端

【3】常见原理

（3.1）深入key版本信息

（1）raft_term：leader任期（每次选举的时候，都会+1），64位整数，全局单调递增

（2）revision：全局的版本号 =》对应数据库修改的版本，即只要对 etcd 进行增删改，版本号都会 +1 （无论是对什么key 操作都会），64 位整数，全局单调递增

（3）create_revision：创建key时候的版本号，即在创建key时的全局版本号（revision 的值)；

（4）modify_revision：修改key的时候的全局版本号

（5）lease：租约（有效期）：就是一个全局对象，设置好过期时间，然后某些key来与这个全局对象绑定，这个全局对象到了过期时间，key也会对应过期被删除；

有点和 redis expire key ttl 形式类似；

但区别是，etcd的租约有针对多个key的优化；常见情况如下：

　　《1》我们有需求设置大量key在同一时间过期　　

　　《2》建一个全局对象，这个全局对象设置好过期时间，然后把key与这个 lease全局对象绑定

　　《3》这样，我们从原本的扫描这些key的过期情况，转而变成只扫描这个全局对象；如果这个全局对象过期，那么其绑定的多个具体key也过期了；

基本操作演示如下：

【3.2】持久化问题

参考：https://blog.csdn.net/shangsongwww/article/details/90288187?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-2-90288187.pc_agg_new_rank&utm_term=etcd%E5%A6%82%E4%BD%95%E6%8C%81%E4%B9%85%E5%8C%96&spm=1000.2123.3001.4430

《1》不会丢数据，会先写到wal 里面，再写到 snap 快照文件里；

《2》当生成 snap 快照，则被持久化相关的 wal 文件及被持久化的操作记录都会被清理掉；

WAL：

快照：

默认情况下，将在每 10,000 次更改后创建快照。如果 etcd 的内存使用和磁盘使用过高，请尝试通过在命令行上设置以下内容来降低快照阈值：

# Command line arguments:
$ etcd --snapshot-count=5000

# Environment variables:
$ ETCD_SNAPSHOT_COUNT=5000 etcd

【深入业务实现】

业务场景情况参考：https://blog.csdn.net/liukuan73/article/details/61918130?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-4-61918130.pc_agg_new_rank&utm_term=etcd%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF&spm=1000.2123.3001.4430

（1）服务发现

tcd比较多的应用场景是用于服务发现，服务发现(Service Discovery)要解决的是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务如何才能找到对方并建立连接。

从本质上说，服务发现就是要了解集群中是否有进程在监听upd或者tcp端口，并且通过名字就可以进行查找和链接。

要解决服务发现的问题，需要下面三大支柱，缺一不可。

基于Ralf算法的etcd天生就是这样一个强一致性、高可用的服务存储目录。

一种注册服务和健康服务健康状况的机制。

用户可以在etcd中注册服务，并且对注册的服务配置key TTL，定时保持服务的心跳以达到监控健康状态的效果。

一种查找和连接服务的机制。

通过在etcd指定的主题下注册的服务业能在对应的主题下查找到。为了确保连接，我们可以在每个服务机器上都部署一个proxy模式的etcd，这样就可以确保访问etcd集群的服务都能够互相连接。

（2）应用举例概述

1.服务发现

（1) 先用LeaseGrant获取租约ID;

(2)Key:系统名称/服务名称/服务版本/服务唯一ID

Value：服务地址

（3）用Put方法存储并有租约

（4）定时用LeaseKeepAlive方法刷新

这样服务发现和心跳都有了

2.订阅发布

（1）创建Topic节点

（2）用put方法在该节点下发布值：key:主题名称 value:数据的

（3）订阅方用 WatchRange方法监视Topic节点

3.负责均衡

类似服务发现，创建一个服务Key，轮训地址，同时记录当前的地址

4.分布式锁

（1）etcd提供了全局锁方法，通过相同key就可以创建全局锁

利用该功能可以创建系统唯一ID

5.队列

（1）创建 queue节点

（2）用Watch方法监视该节点

【4】ETCD 单实例

（4.1）下载安装与启动连接

mkdir /soft
cd /soft
wget https://github.com/etcd-io/etcd/releases/download/v3.5.1/etcd-v3.5.1-linux-amd64.tar.gz
tar -zxf etcd-v3.5.1-linux-amd64.tar.gz
mv etcd-v3.5.1-linux-amd64 etcd
cd etcd
mkdir bin
cp etcd* ./bin/
echo "export PATH=${PATH}:`pwd`/bin" >>/etc/profile
source /etc/profile

ls 查看里面的文件

是一些文档和两个二进制文件 etcd 和 etcdctl；

etcd 是server端，etcdctl是客户端

启动看看：

nohup ./etcd &

{"level":"info","ts":"2022-01-04T17:59:56.291+0800","caller":"etcdmain/etcd.go:72","msg":"Running: ","args":["./etcd"]}
{"level":"warn","ts":"2022-01-04T17:59:56.291+0800","caller":"etcdmain/etcd.go:104","msg":"'data-dir' was empty; using default","data-dir":"default.etcd"}
{"level":"info","ts":"2022-01-04T17:59:56.291+0800","caller":"embed/etcd.go:131","msg":"configuring peer listeners","listen-peer-urls":["http://localhost:2380"]}
{"level":"info","ts":"2022-01-04T17:59:56.292+0800","caller":"embed/etcd.go:139","msg":"configuring client listeners","listen-client-urls":["http://localhost:2379"]}
{"level":"info","ts":"2022-01-04T17:59:56.292+0800","caller":"embed/etcd.go:307","msg":"starting an etcd server","etcd-version":"3.5.1","git-sha":"e8732fb5f","go-version":"go1.16.3","go-os":"linux","go-arch":"amd64","max-cpu-set":1,"max-cpu-available":1,"member-initialized":false,"name":"default","data-dir":"default.etcd","wal-dir":"","wal-dir-dedicated":"","member-dir":"default.etcd/member","force-new-cluster":false,"heartbeat-interval":"100ms","election-timeout":"1s","initial-election-tick-advance":true,"snapshot-count":100000,"snapshot-catchup-entries":5000,"initial-advertise-peer-urls":["http://localhost:2380"],"listen-peer-urls":["http://localhost:2380"],"advertise-client-urls":["http://localhost:2379"],"listen-client-urls":["http://localhost:2379"],"listen-metrics-urls":[],"cors":["*"],"host-whitelist":["*"],"initial-cluster":"default=http://localhost:2380","initial-cluster-state":"new","initial-cluster-token":"etcd-cluster","quota-size-bytes":2147483648,"pre-vote":true,"initial-corrupt-check":false,"corrupt-check-time-interval":"0s","auto-compaction-mode":"periodic","auto-compaction-retention":"0s","auto-compaction-interval":"0s","discovery-url":"","discovery-proxy":"","downgrade-check-interval":"5s"}
{"level":"info","ts":"2022-01-04T17:59:56.295+0800","caller":"etcdserver/backend.go:81","msg":"opened backend db","path":"default.etcd/member/snap/db","took":"1.297072ms"}
{"level":"info","ts":"2022-01-04T17:59:56.328+0800","caller":"etcdserver/raft.go:448","msg":"starting local member","local-member-id":"8e9e05c52164694d","cluster-id":"cdf818194e3a8c32"}
{"level":"info","ts":"2022-01-04T17:59:56.328+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d switched to configuration voters=()"}
{"level":"info","ts":"2022-01-04T17:59:56.328+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d became follower at term 0"}
{"level":"info","ts":"2022-01-04T17:59:56.328+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"newRaft 8e9e05c52164694d [peers: [], term: 0, commit: 0, applied: 0, lastindex: 0, lastterm: 0]"}
{"level":"info","ts":"2022-01-04T17:59:56.328+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d became follower at term 1"}
{"level":"info","ts":"2022-01-04T17:59:56.328+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d switched to configuration voters=(10276657743932975437)"}
{"level":"warn","ts":"2022-01-04T17:59:56.329+0800","caller":"auth/store.go:1220","msg":"simple token is not cryptographically signed"}
{"level":"info","ts":"2022-01-04T17:59:56.331+0800","caller":"mvcc/kvstore.go:415","msg":"kvstore restored","current-rev":1}
{"level":"info","ts":"2022-01-04T17:59:56.333+0800","caller":"etcdserver/quota.go:94","msg":"enabled backend quota with default value","quota-name":"v3-applier","quota-size-bytes":2147483648,"quota-size":"2.1 GB"}
{"level":"info","ts":"2022-01-04T17:59:56.333+0800","caller":"etcdserver/server.go:843","msg":"starting etcd server","local-member-id":"8e9e05c52164694d","local-server-version":"3.5.1","cluster-version":"to_be_decided"}
{"level":"info","ts":"2022-01-04T17:59:56.337+0800","caller":"embed/etcd.go:276","msg":"now serving peer/client/metrics","local-member-id":"8e9e05c52164694d","initial-advertise-peer-urls":["http://localhost:2380"],"listen-peer-urls":["http://localhost:2380"],"advertise-client-urls":["http://localhost:2379"],"listen-client-urls":["http://localhost:2379"],"listen-metrics-urls":[]}
{"level":"info","ts":"2022-01-04T17:59:56.338+0800","caller":"etcdserver/server.go:728","msg":"started as single-node; fast-forwarding election ticks","local-member-id":"8e9e05c52164694d","forward-ticks":9,"forward-duration":"900ms","election-ticks":10,"election-timeout":"1s"}
{"level":"info","ts":"2022-01-04T17:59:56.338+0800","caller":"embed/etcd.go:580","msg":"serving peer traffic","address":"127.0.0.1:2380"}
{"level":"info","ts":"2022-01-04T17:59:56.338+0800","caller":"embed/etcd.go:552","msg":"cmux::serve","address":"127.0.0.1:2380"}
{"level":"info","ts":"2022-01-04T17:59:56.338+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d switched to configuration voters=(10276657743932975437)"}
{"level":"info","ts":"2022-01-04T17:59:56.338+0800","caller":"membership/cluster.go:421","msg":"added member","cluster-id":"cdf818194e3a8c32","local-member-id":"8e9e05c52164694d","added-peer-id":"8e9e05c52164694d","added-peer-peer-urls":["http://localhost:2380"]}
{"level":"info","ts":"2022-01-04T17:59:56.930+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d is starting a new election at term 1"}
{"level":"info","ts":"2022-01-04T17:59:56.930+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d became pre-candidate at term 1"}
{"level":"info","ts":"2022-01-04T17:59:56.930+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d received MsgPreVoteResp from 8e9e05c52164694d at term 1"}
{"level":"info","ts":"2022-01-04T17:59:56.930+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d became candidate at term 2"}
{"level":"info","ts":"2022-01-04T17:59:56.930+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d received MsgVoteResp from 8e9e05c52164694d at term 2"}
{"level":"info","ts":"2022-01-04T17:59:56.930+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"8e9e05c52164694d became leader at term 2"}
{"level":"info","ts":"2022-01-04T17:59:56.930+0800","logger":"raft","caller":"etcdserver/zap_raft.go:77","msg":"raft.node: 8e9e05c52164694d elected leader 8e9e05c52164694d at term 2"}
{"level":"info","ts":"2022-01-04T17:59:56.931+0800","caller":"etcdserver/server.go:2476","msg":"setting up initial cluster version using v2 API","cluster-version":"3.5"}
{"level":"info","ts":"2022-01-04T17:59:56.931+0800","caller":"membership/cluster.go:584","msg":"set initial cluster version","cluster-id":"cdf818194e3a8c32","local-member-id":"8e9e05c52164694d","cluster-version":"3.5"}
{"level":"info","ts":"2022-01-04T17:59:56.931+0800","caller":"api/capability.go:75","msg":"enabled capabilities for version","cluster-version":"3.5"}
{"level":"info","ts":"2022-01-04T17:59:56.931+0800","caller":"etcdserver/server.go:2500","msg":"cluster version is updated","cluster-version":"3.5"}
{"level":"info","ts":"2022-01-04T17:59:56.931+0800","caller":"etcdserver/server.go:2027","msg":"published local member to cluster through raft","local-member-id":"8e9e05c52164694d","local-member-attributes":"{Name:default ClientURLs:[http://localhost:2379]}","request-path":"/0/members/8e9e05c52164694d/attributes","cluster-id":"cdf818194e3a8c32","publish-timeout":"7s"}
{"level":"info","ts":"2022-01-04T17:59:56.931+0800","caller":"embed/serve.go:98","msg":"ready to serve client requests"}
{"level":"info","ts":"2022-01-04T17:59:56.932+0800","caller":"embed/serve.go:140","msg":"serving client traffic insecurely; this is strongly discouraged!","address":"127.0.0.1:2379"}
{"level":"info","ts":"2022-01-04T17:59:56.932+0800","caller":"etcdmain/main.go:47","msg":"notifying init daemon"}
{"level":"info","ts":"2022-01-04T17:59:56.932+0800","caller":"etcdmain/main.go:53","msg":"successfully notified init daemon"}

日志信息如下：

name表示节点名称，默认为default。
data-dir 保存日志和快照的目录，默认为当前工作目录default.etcd/目录下。
在http://localhost:2380和集群中其他节点通信。
在http://localhost:2379提供HTTP API服务，供客户端交互。
heartbeat为100ms，该参数的作用是leader多久发送一次心跳到
followers，默认值是100ms。
election为1000ms，该参数的作用是重新投票的超时时间，如果follow在该+ 时间间隔没有收到心跳包，会触发重新投票，默认为1000ms。
snapshot count为10000，该参数的作用是指定有多少事务被提交时，触发+ 截取快照保存到磁盘。
集群和每个节点都会生成一个uuid。
启动的时候会运行raft，选举出leader。
上面的方法只是简单的启动一个etcd服务，但要长期运行的话，还是做成一个服务好一些。下面将以systemd为例，介绍如何建立一个etcd服务。

登录连接：

利用 etcdctl 命令进行连接
本地连接, 默认使用 http://127.0.0.1:2379 作为默认 endpoint


假如需要执行远程连接, 可以通过定义 endpoint 实现
ex: etcd --endpoint http://10.199.205.229:2379

实际上etcd服务端监听的地址是这个参数控制的，默认就是127.0.0.1:2379

--listen-client-urls http://0.0.0.0:2379

（4.2）etcd 两种 API 与 REST API

当前 etcdctl 支持 ETCDCTL-API=2 ETCDCTL_API=3 两种不同的操作类型

不同的 api 类型使用的命令参数不一样

通过环境变量切换方法定义当前 api 类型

版本2：

[root@terry ~]# etcdctl --help
NAME:
   etcdctl - A simple command line client for etcd.

USAGE:
   etcdctl [global options] command [command options] [arguments...]

VERSION:
   3.2.7

COMMANDS:
     backup          backup an etcd directory
     cluster-health  check the health of the etcd cluster
     mk              make a new key with a given value
     mkdir           make a new directory
     rm              remove a key or a directory
     rmdir           removes the key if it is an empty directory or a key-value pair
     get             retrieve the value of a key
     ls              retrieve a directory
     set             set the value of a key
     setdir          create a new directory or update an existing directory TTL
     update          update an existing key with a given value
     updatedir       update an existing directory
     watch           watch a key for changes
     exec-watch      watch a key for changes and exec an executable
     member          member add, remove and list subcommands
     user            user add, grant and revoke subcommands
     role            role add, grant and revoke subcommands
     auth            overall auth controls
     help, h         Shows a list of commands or help for one command

版本3：（当前最新，就是我们现在用的这种）见（4.3）

REST API

# curl  http://10.1.2.61:2379/v2/members

查看集群成员，其中，id是集群成员的全局唯一的身份标识，name是成员的名字，peerURLs是成员之间通信的入口，clientURLs是成员跟用户通信的访问入口

# curl http://10.1.2.61:2379/v2/keys
# curl -fs -X PUT http://10.1.2.61:2379/v2/keys/_test
# curl -X GET http://10.1.2.61:2379/v2/keys/_test

（4.3）etcd 基本操作

我们可以 ./etcdctl --help 查看，命令如下：

NAME:         etcdctl - A simple command line client for etcd3.
USAGE:        etcdctl [flags]
VERSION:        3.5.1
API VERSION:        3.5

COMMANDS:
        alarm disarm            Disarms all alarms
        alarm list              Lists all alarms
        auth disable            Disables authentication
        auth enable             Enables authentication
        auth status             Returns authentication status
        check datascale         Check the memory usage of holding data for different workloads on a given server endpoint.
        check perf              Check the performance of the etcd cluster
        compaction              Compacts the event history in etcd
        defrag                  Defragments the storage of the etcd members with given endpoints
        del                     Removes the specified key or range of keys [key, range_end)
        elect                   Observes and participates in leader election
        endpoint hashkv         Prints the KV history hash for each endpoint in --endpoints
        endpoint health         Checks the healthiness of endpoints specified in `--endpoints` flag
        endpoint status         Prints out the status of endpoints specified in `--endpoints` flag
        get                     Gets the key or a range of keys
        help                    Help about any command
        lease grant             Creates leases
        lease keep-alive        Keeps leases alive (renew)
        lease list              List all active leases
        lease revoke            Revokes leases
        lease timetolive        Get lease information
        lock                    Acquires a named lock
        make-mirror             Makes a mirror at the destination etcd cluster
        member add              Adds a member into the cluster
        member list             Lists all members in the cluster
        member promote          Promotes a non-voting member in the cluster
        member remove           Removes a member from the cluster
        member update           Updates a member in the cluster
        move-leader             Transfers leadership to another etcd cluster member.
        put                     Puts the given key into the store
        role add                Adds a new role
        role delete             Deletes a role
        role get                Gets detailed information of a role
        role grant-permission   Grants a key to a role
        role list               Lists all roles
        role revoke-permission  Revokes a key from a role
        snapshot restore        Restores an etcd member snapshot to an etcd directory
        snapshot save           Stores an etcd node backend snapshot to a given file
        snapshot status         [deprecated] Gets backend snapshot status of a given file
        txn                     Txn processes all the requests in one transaction
        user add                Adds a new user
        user delete             Deletes a user
        user get                Gets detailed information of a user
        user grant-role         Grants a role to a user
        user list               Lists all users
        user passwd             Changes password of user
        user revoke-role        Revokes a role from a user
        version                 Prints the version of etcdctl
        watch                   Watches events stream on keys or prefixes

OPTIONS:
      --cacert=""                               verify certificates of TLS-enabled secure servers using this CA bundle
      --cert=""                                 identify secure client using this TLS certificate file
      --command-timeout=5s                      timeout for short running command (excluding dial timeout)
      --debug[=false]                           enable client-side debug logging
      --dial-timeout=2s                         dial timeout for client connections
  -d, --discovery-srv=""                        domain name to query for SRV records describing cluster endpoints
      --discovery-srv-name=""                   service name to query when using DNS discovery
      --endpoints=[127.0.0.1:2379]              gRPC endpoints
  -h, --help[=false]                            help for etcdctl
      --hex[=false]                             print byte strings as hex encoded strings
      --insecure-discovery[=true]               accept insecure SRV records describing cluster endpoints
      --insecure-skip-tls-verify[=false]        skip server certificate verification (CAUTION: this option should be enabled only for testing purposes)
      --insecure-transport[=true]               disable transport security for client connections
      --keepalive-time=2s                       keepalive time for client connections
      --keepalive-timeout=6s                    keepalive timeout for client connections
      --key=""                                  identify secure client using this TLS key file
      --password=""                             password for authentication (if this option is used, --user option shouldn't include password)
      --user=""                                 username[:password] for authentication (prompt if password is not supplied)
  -w, --write-out="simple"                      set the output format (fields, json, protobuf, simple, table)

# 额外的局部选项
OPTIONS:
--consistency="l" Linearizable(l) or Serializable(s)
--count-only[=false] Get only the count
--from-key[=false] Get keys that are greater than or equal to the given key using byte compare
-h, --help[=false] help for get
--keys-only[=false] Get only the keys
--limit=0 Maximum number of results
--order="" Order of results; ASCEND or DESCEND (ASCEND by default)
--prefix[=false] Get keys with matching prefix
--print-value-only[=false] Only write values when using the "simple" output format
--rev=0 Specify the kv revision
--sort-by="" Sort target; CREATE, KEY, MODIFY, VALUE, or VERSION

etcd get --from-key "" 获取所有key

我们简单介绍最基础几个

put：插入、更新
get：查询
del：删除
txn：事务
watch：持续观察

那么，从之前的介绍，这些我们都用过了；

【5】ETCD集群搭建与基础操作

（5.1）安装

官网：https://etcd.io/docs/v3.5/tutorials/how-to-setup-cluster/

三个机器都运行（记得修改好 host相关ip信息成你自己的ip地址）

TOKEN=token-01
CLUSTER_STATE=new
NAME_1=machine-3
NAME_2=machine-4
NAME_3=machine-5
HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
CLUSTER=${NAME_1}=http://${HOST_1}:2380,${NAME_2}=http://${HOST_2}:2380,${NAME_3}=http://${HOST_3}:2380

三个机器分别对应执行

# 在机器1 运行
THIS_NAME=${NAME_1}
THIS_IP=${HOST_1}
nohup etcd --data-dir=data.etcd --name ${THIS_NAME} \
    --initial-advertise-peer-urls http://${THIS_IP}:2380 \
    --listen-peer-urls http://${THIS_IP}:2380 \
    --advertise-client-urls http://${THIS_IP}:2379 \
    --listen-client-urls http://0.0.0.0:2379 \
    --initial-cluster ${CLUSTER} \
    --initial-cluster-state ${CLUSTER_STATE} \
    --initial-cluster-token ${TOKEN} &
    
# 在机器2 运行
THIS_NAME=${NAME_2}
THIS_IP=${HOST_2}
nohup etcd --data-dir=data.etcd --name ${THIS_NAME} \
    --initial-advertise-peer-urls http://${THIS_IP}:2380 \
    --listen-peer-urls http://${THIS_IP}:2380 \
    --advertise-client-urls http://${THIS_IP}:2379 \
    --listen-client-urls http://0.0.0.0:2379 \
    --initial-cluster ${CLUSTER} \
    --initial-cluster-state ${CLUSTER_STATE} \
    --initial-cluster-token ${TOKEN} &    


# 在机器3运行
THIS_NAME=${NAME_3}
THIS_IP=${HOST_3}
nohup etcd --data-dir=data.etcd --name ${THIS_NAME} \
    --initial-advertise-peer-urls http://${THIS_IP}:2380 \
    --listen-peer-urls http://${THIS_IP}:2380 \
    --advertise-client-urls http://${THIS_IP}:2379 \
    --listen-client-urls http://0.0.0.0:2379 \
    --initial-cluster ${CLUSTER} \
    --initial-cluster-state ${CLUSTER_STATE} \
    --initial-cluster-token ${TOKEN} &

参数释义：

–name：节点名称，默认为 default，在集群中应该保持唯一
–data-dir：服务运行数据保存的路径，默认为 ${name}.etcd
–snapshot-count：指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘
–listen-peer-urls：和同伴通信的地址，比如 http://ip:2380，如果有多个，使用逗号分隔。需要所有节点都能够访问，所以不要使用 localhost
–listen-client-urls：对外提供服务的地址：比如 http://ip:2379,http://127.0.0.1:2379，客户端会连接到这里和 etcd 交互

–advertise-client-urls：对外公告的该节点客户端监听地址，这个值会告诉集群中其他节点
–initial-advertise-peer-urls：该节点同伴监听地址，这个值会告诉集群中其他节点
–initial-cluster：集群中所有节点的信息，格式为 node1=http://ip1:2380,node2=http://ip2:2380,…。注意：这里的 node1 是节点的 --name 指定的名字；后面的 ip1:2380 是 --initial-advertise-peer-urls 指定的值

–initial-cluster-state：新建集群的时候，这个值为 new；假如已经存在的集群，这个值为 existing
–initial-cluster-token：创建集群的 token，这个值每个集群保持唯一。这样的话，如果你要重新创建集群，即使配置和之前一样，也会再次生成新的集群和节点 uuid；否则会导致多个集群之间的冲突，造成未知的错误
–heartbeat-interval：leader 多久发送一次心跳到 followers。默认值 100ms
–eletion-timeout：重新投票的超时时间，如果 follow 在该时间间隔没有收到心跳包，会触发重新投票，默认为 1000 ms

安装后结果：

（5.2）使用 etcdctl 连接到集群

export ETCDCTL_API=3  //添加环境变量

HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 
etcdctl --write-out=table --endpoints=$ENDPOINTS member list

（5.3）etcdtcl基本操作【必看】

在etcd集群上的任意一个节点都可以做增删改查，会自动提交到主节点，然后复制分发同步到从节点；

详细原理见【2】中描述

# 前置信息 指定连接主机
HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 

# put 新建

etcdctl --endpoints=$ENDPOINTS put foo "Hello World!"

# get 查询

etcdctl --endpoints=$ENDPOINTS get foo
etcdctl --endpoints=$ENDPOINTS --write-out="json" get foo
etcdctl get a c   # 获取 a~c 之间的所有key，包含a，c;

# get --from-key "" 获取所有key，获取大于等于该 key值的 key
etcdctl get --from-key ""
etcdctl get --from-key c  # 获取大于等于 key c 对应 value 值的  key value 信息

# get --rev=N 访问第N个版本的 key

etcdctl get --prefix --rev=4 foo # 访问第4个版本的key

# --prefix 通过前缀获取 etcdctl --endpoints=$ENDPOINTS put web1 value1 etcdctl --endpoints=$ENDPOINTS put web2 value2 etcdctl --endpoints=$ENDPOINTS put web3 value3 etcdctl --endpoints=$ENDPOINTS get web -–prefix 获取前几字节web所有 etcdctl get –prefix / //获取键的第一个字节为 / 的所有信息  # del 删除，通过前缀删除 etcdctl --endpoints=$ENDPOINTS put key myvalue etcdctl --endpoints=$ENDPOINTS del key etcdctl --endpoints=$ENDPOINTS put k1 value1 etcdctl --endpoints=$ENDPOINTS put k2 value2etcdctl --endpoints=$ENDPOINTS del k -–prefix 删除前几字节为k的所有 etcdctl del –prefix / //删除键的第一个字节为 / 的所有信息  # txn：事务 etcdctl --endpoints=$ENDPOINTS put user1 bad etcdctl --endpoints=$ENDPOINTS txn --interactive compares: value("user1") = "bad" success requests (get, put, delete): del user1 failure requests (get, put, delete): put user1 good

# watch 持续监视
etcdctl --endpoints=$ENDPOINTS watch stock1
etcdctl --endpoints=$ENDPOINTS put stock1 1000

etcdctl --endpoints=$ENDPOINTS watch stock --prefix
etcdctl --endpoints=$ENDPOINTS put stock1 10
etcdctl --endpoints=$ENDPOINTS put stock2 20

# lease 租约
etcdctl --endpoints=$ENDPOINTS lease grant 300
# lease 2be7547fbc6a5afa granted with TTL(300s)

etcdctl --endpoints=$ENDPOINTS put sample value --lease=2be7547fbc6a5afa
etcdctl --endpoints=$ENDPOINTS get sample

etcdctl --endpoints=$ENDPOINTS lease keep-alive 2be7547fbc6a5afa
etcdctl --endpoints=$ENDPOINTS lease revoke 2be7547fbc6a5afa
# or after 300 seconds
etcdctl --endpoints=$ENDPOINTS get sample

# lock 分布式锁
etcdctl --endpoints=$ENDPOINTS lock mutex1

     # another client with the same name blocks
etcdctl --endpoints=$ENDPOINTS lock mutex1

# 集群状态查看
etcdctl --write-out=table --endpoints=$ENDPOINTS member list
etcdctl --write-out=table --endpoints=$ENDPOINTS endpoint status
etcdctl --write-out=table --endpoints=$ENDPOINTS endpoint health

# snapshot 快照查看
快照只能从一个 etcd 节点请求，所以--endpointsflag 应该只包含一个端点。

ENDPOINTS=$HOST_1:2379
etcdctl --endpoints=$ENDPOINTS snapshot save my.db   # 保存当前时间点数据到快照
etcdctl --write-out=table --endpoints=$ENDPOINTS snapshot status my.db    # 查看快照大小

（5.4）启用账户密码、角色

参考官网：https://etcd.io/docs/v3.5/op-guide/authentication/rbac/

（1）用户创建

# --new-user-password='123456'  ：直接配置密码  不加则是交互式
# --interactive=false ：取消交互式，直接明文输入密码

etcdctl user list
etcdctl user add myusername    --new-user-password='123456'
etcdctl user get myusername
etcdctl user passwd myusername --interactive=false
etcdctl user delete myusername


# 要启用登录验证，必须要有用户 root
etcdctl user add root
etcdctl auth enable

# 禁用登录验证
etcdctl --user root:rootpw auth disable


# etcd 账户登录
etcdctl --user user:password get foo
etcdctl --user user get foo
etcdctl --user user --password password get foo

（5.5）备份还原操作

备份：

恢复集群首先需要来自 etcd 成员的密钥空间快照。可以使用etcdctl snapshot save命令从实时成员获取快照，也可以通过member/snap/db从 etcd 数据目录复制文件来获取快照。

例如，以下命令将服务的密钥空间快照$ENDPOINT到文件snapshot.db：

$ ETCDCTL_API=3 etcdctl --endpoints $ENDPOINT snapshot save snapshot.db

还原：

　　要恢复集群，只需要一个快照“db”文件。集群恢复etcdctl snapshot restore创建新的 etcd 数据目录；所有成员都应使用相同的快照进行恢复。

　　恢复会覆盖一些快照元数据（特别是成员 ID 和集群 ID）；该成员失去了以前的身份。此元数据覆盖可防止新成员无意中加入现有集群。

　　因此，为了从快照启动集群，还原必须启动一个新的逻辑集群。

可以在还原时选择性地验证快照完整性。

　　如果快照是使用拍摄的etcdctl snapshot save，它将具有由进行检查的完整性散列etcdctl snapshot restore。

　　如果快照是从数据目录复制过来的，则没有完整性哈希，只能使用--skip-hash-check.

利用备份还原出一个新的集群：

　　恢复使用etcd的集群配置标志使用新的集群配置初始化新集群的新成员，但保留 etcd 数据内容。

继续上一个示例，以下内容为三成员集群创建新的 etcd 数据目录 ( m1.etcd, m2.etcd, m3.etcd)：

$ ETCDCTL_API=3 etcdctl snapshot restore snapshot.db \
  --name m1 \
  --initial-cluster m1=http://host1:2380,m2=http://host2:2380,m3=http://host3:2380 \
  --initial-cluster-token etcd-cluster-1 \
  --initial-advertise-peer-urls http://host1:2380
$ ETCDCTL_API=3 etcdctl snapshot restore snapshot.db \
  --name m2 \
  --initial-cluster m1=http://host1:2380,m2=http://host2:2380,m3=http://host3:2380 \
  --initial-cluster-token etcd-cluster-1 \
  --initial-advertise-peer-urls http://host2:2380
$ ETCDCTL_API=3 etcdctl snapshot restore snapshot.db \
  --name m3 \
  --initial-cluster m1=http://host1:2380,m2=http://host2:2380,m3=http://host3:2380 \
  --initial-cluster-token etcd-cluster-1 \
  --initial-advertise-peer-urls http://host3:2380
接下来，etcd从新的数据目录开始：

$ etcd \
  --name m1 \
  --listen-client-urls http://host1:2379 \
  --advertise-client-urls http://host1:2379 \
  --listen-peer-urls http://host1:2380 &
$ etcd \
  --name m2 \
  --listen-client-urls http://host2:2379 \
  --advertise-client-urls http://host2:2379 \
  --listen-peer-urls http://host2:2380 &
$ etcd \
  --name m3 \
  --listen-client-urls http://host3:2379 \
  --advertise-client-urls http://host3:2379 \
  --listen-peer-urls http://host3:2380 &
现在恢复的 etcd 集群应该可用并为快照给出的密钥空间提供服务。

【6】etcd 集群维护

（6.0）命令汇总

# 前置信息 指定连接主机
HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 

# 查看集群成员列表
etcdctl --endpoints=$ENDPOINTS --write-out=table member list

# 查看集群成员存活情况
etcdctl --endpoints=$ENDPOINTS --write-out=table endpoint health

# 查看集群状态
etcdctl --endpoints=$ENDPOINTS --write-out=table endpoint status

# 更新节点
etcdctl member list 
etcdctl member update memberID http://ip:2380

# 删除节点

etcdctl member list
etcdctl member remove memberID
etcdctl member list
ps -ef|grep etcd

（6.1）状态查看

集群创建信息见（5.1）

下面直接是查看集群状态

# 前置信息 指定连接主机
HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 

# 查看集群成员列表
etcdctl --endpoints=$ENDPOINTS --write-out=table member list

# 查看集群成员存活情况
etcdctl --endpoints=$ENDPOINTS --write-out=table endpoint health

# 查看集群状态
etcdctl --endpoints=$ENDPOINTS --write-out=table endpoint status

（6.2）删除节点

删除节点：（删除 192.168.175.148，machine-5）

HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 

# 查看集群成员列表，获取节点ID
etcdctl --endpoints=$ENDPOINTS --write-out=table member list

# 根据节点ID，删除节点
etcdctl --endpoints=$ENDPOINTS member remove 6d8e4e127db7ab6c

# 再次查看集群成员列表
etcdctl --endpoints=$ENDPOINTS --write-out=table member list

（6.3）增加节点

# 注意，如果是一个集群脱机下来的节点，那么务必要删除 data-dir 下的所有数据
即本文启动命令 etcd --data-dir=data.etcd 对应的目录，不删则会报错

{"level":"warn","ts":"2022-01-06T16:59:32.830+0800","caller":"etcdserver/server.go:1142","msg":"server error","error":"the member has been permanently removed from the cluster"}
{"level":"warn","ts":"2022-01-06T16:59:32.830+0800","caller":"etcdserver/server.go:1143","msg":"data-dir used by this member must be removed"}

因为这里面会记录集群相关信息（如 id、token 等），也会记录数据信息

增加节点操作如下：

TOKEN=token-01
CLUSTER_STATE=new
NAME_1=machine-3
NAME_2=machine-4
NAME_3=machine-5
HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
CLUSTER=${NAME_1}=http://${HOST_1}:2380,${NAME_2}=http://${HOST_2}:2380,${NAME_3}=http://${HOST_3}:2380
ENDPOINTS=${HOST_1}:2379,${HOST_2}:2379 

# 注意，如果是一个别的集群脱机下来的节点，那么务必要删除 datadir 下的所有数据
etcdctl --endpoints=$ENDPOINTS member add {NAME_3} --peer-urls=http://${HOST_3}:2380

返回结果

Member 6eb8fc8f1b2e6002 added to cluster 7e6769581016e8e2

ETCD_NAME="{NAME_3}"
ETCD_INITIAL_CLUSTER="{NAME_3}=http://192.168.175.148:2380,machine-4=http://192.168.175.132:2380,machine-3=http://192.168.175.131:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.175.148:2380"
ETCD_INITIAL_CLUSTER_STATE="existing"

我们再去其他节点查看，虽然节点加进来了，但是并没有启动

正式启动、加入：使用--initial-cluster-state existing标志启动新成员：

TOKEN=token-01
CLUSTER_STATE=existing
NAME_1=machine-3
NAME_2=machine-4
NAME_3=machine-5
HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
CLUSTER=${NAME_1}=http://${HOST_1}:2380,${NAME_2}=http://${HOST_2}:2380,${NAME_3}=http://${HOST_3}:2380

THIS_NAME=${NAME_3}
THIS_IP=${HOST_3}
nohup etcd --data-dir=data.etcd --name ${THIS_NAME} \
    --initial-advertise-peer-urls http://${THIS_IP}:2380 \
    --listen-peer-urls http://${THIS_IP}:2380 \
    --advertise-client-urls http://${THIS_IP}:2379 \
    --listen-client-urls http://0.0.0.0:2379 \
    --initial-cluster ${CLUSTER} \
    --initial-cluster-state ${CLUSTER_STATE} \
    --initial-cluster-token ${TOKEN} &

再查看

HOST_1=192.168.175.131
HOST_2=192.168.175.132
HOST_3=192.168.175.148
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 

# 查看集群成员列表，获取节点ID
etcdctl --endpoints=$ENDPOINTS --write-out=table member list

（6.4）etcd的重要参数

参考：官网维护网页 https://etcd.io/docs/v3.5/op-guide/maintenance/

（1）etcd --snapshot-count（3.2之前默认 10000,3.2及之后默认100000）：

　　Raft WAL日志保留在内存中，当内存中有超过该参数值的 key变动，就会把数据持久化到 snapshot 中，同时清理掉内存、磁盘中已经持久化的 WAL日志信息；

（2）etcd --auto-compaction-retention=1（自动压缩，单位小时），同时压缩省下来的空间只能给etcd用，要是想还给OS，则需要做碎片处理

3.1及之前版本是默认是10小时；也就是说如果10小时之前该key版本号是1000，那么10小时后，清理的时候就是key版本号1000以前的所有历史数据；
　　假设每小时更新100次，那么10小时后key版本号就从1000变成2000，那么下一个10小时后就变成3000（这个时候清理10小时前的，那就是清理2000以前的所有版本号）
3.2版本默认是1小时一次，原理同上。上面的 1000,2000,3000 变成 1100,1200,1300 而已；
3.3.0-3.3.2版本中，有了不同的改变；

--auto-compaction-mode=revision --auto-compaction-retention=1000 自动Compact上"latest revision" ，默认每5分钟压缩一次，压缩上次至现在1000个；那么压缩版本规律就是 1000,2000,3000；

　　例如版本号当前是30000，那么每5分钟清除当前版本号-1000之前的所有历史数据，也就是删除29000版本号之前的所有数据；

--auto-compaction-mode=periodic --auto-compaction-retention=72h,根据时间，第一次会等待72h再清理，之后根据该值的1/10,也就是每7.2小时记录的版本号之前的数据清理一遍

--auto-compaction-mode=periodic --auto-compaction-retention=30m,根据时间，第一次会等待30m再清理，之后根据该值的1/10,也就是每3分钟清理一次3分钟之前记录的版本号之前的的数据
- 　　也就是说当 --auto-compaction-retention=10h，etcd 首先等待 10 小时进行第一次压缩，然后每隔一小时（10 小时的 1/10）进行一次压缩
3.3.3及之后：

--auto-compaction-mode=revision --auto-compaction-retention=1000自动Compact上"latest revision" ,只保留最新的1000个版本号值；

例如版本号当前是30000，那么每5分钟清除当前版本号-1000之前的所有历史数据，也就是删除29000版本号之前的所有数据；

--auto-compaction-mode=periodic --auto-compaction-retention=72h,根据时间，第一次会等待72h再清理，之后每小时清理一次

--auto-compaction-mode=periodic --auto-compaction-retention=30m,根据时间，第一次会等待30m再清理，之后也是每30分钟一次

（3）etcd --quota-backend-bytes=$((16*1024*1024))：垃圾不要使用，存储空间大小限制（存储超过该值会让集群变只读、只能删除，直到存储大小低于该值）

（4）表碎片整理：注意，会导致不可读写

$ etcdctl defrag
Finished defragmenting etcd member[127.0.0.1:2379]

要在 etcd 未运行时直接对 etcd 数据目录进行碎片整理，请使用以下命令：

$ etcdctl defrag --data-dir <path-to-etcd-data-dir>

【7】使用 prometheus 监控 etcd

如下图，看到这个就懂了吧，直接用prometheus 在配置文件里配置即可；

【etcd和同类型产品的对比】

（1） etcd vs redis

etcd诞生之日起，就定位成一种分布式存储系统，并在k8s 服务注册和服务发现中，为大家所认识。它偏重的是节点之间的通信和一致性的机制保证，并不强调单节点的读写性能。

而redis最早作为缓存系统出现在大众视野，也注定了redis需要更加侧重于读写性能和支持更多的存储模式，它不需要care一致性，也不需要侧重事务，因此可以达到很高的读写性能。

总结一下，redis常用来做缓存系统，etcd常用来做分布式系统中一些关键数据的存储服务，比如服务注册和服务发现。

（2） etcd vs consul

consul定位是一个端到端的服务框架，提供了内置的监控检查、DNS服务等，除此之外，还提供了HTTP API和Web UI，如果要实现简单的服务发现，基本上可以开箱即用。

但是缺点同样也存在，封装有利有弊，就导致灵活性弱了不少。除此之外，consul还比较年轻，暂未在大型项目中实践，可靠性还未可知。

（3） etcd vs zookeeper

etcd站在了巨人的肩膀上。。

【etcd性能表现】

来自于官网介绍：https://etcd.io/docs/v3.4.0/op-guide/performance/ 大致总结一下：

读：1w ~ 10w 之间
写：1w左右

建议：

etcd需要部署到ssd盘（强烈建议）
多个写采用batch操作。
非必要情况下，避免range操作。

etcd集群更偏重一致性和稳定性，并不强调高性能，在绝大部分场景下均不会到达etcd性能瓶颈，如果出现瓶颈的话，需要重新review架构设计，比如拆分或者优化流程。

【本文参考转载自文章】

官网：官网：https://etcd.io/docs/v3.5/tutorials/how-to-setup-cluster/

https://www.jianshu.com/p/f68028682192

https://zhuanlan.zhihu.com/p/339902098

etcd 入门篇：https://blog.csdn.net/jkwanga/article/details/106444556

etcd 集群维护：https://blog.csdn.net/hai330/article/details/118357407

ETCD监控：https://www.cnblogs.com/determined-K/p/14756721.html

原理参考：https://blog.csdn.net/shangsongwww/article/details/90288187?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-2-90288187.pc_agg_new_rank&utm_term=etcd%E5%A6%82%E4%BD%95%E6%8C%81%E4%B9%85%E5%8C%96&spm=1000.2123.3001.4430

posted @ 2021-12-30 14:58 郭大侠1 阅读(1252) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部