极限网关

ES灾备要点:

1.一致性

2.时效性

3.顺序性

4.可验证

5.可恢复

6.

常用灾备方案

1.应用双写

2.主备复制

3.定期快照

基于极限网关的ES的灾备设计

1.使用网关透明处理主备集群的写入,无缝双写

2.写请求先同步写主集群,由主集群进行请求操作校验

3.主集群写完之后再写备集群的队列

4.异步消费备集群队列里面的数据到备集群

5.当数据写入出现故障时写单独的故障队列

6.写请求会判断队列是否堆积来判断是否直接转发还是追加队尾

7.如果有故障队列会优先处理完才能处理正常的写入队列

8.如果遇到主集群不可用的情况,会挂起请求到故障队列

9.主集群不可用的情况下,请求可写入两边集群的队列或者直接丢弃

10.故障恢复之后,两边集群的数据保证最后顺序一致

11.如果主集群不可用,可以路由读请求到备集群

12.挂任意集群都不影响集群的写入和读取

13.所有记录Translog进行压缩归档,可以用于后续校验

14.实时增量对进行两个集群进行文档级别的Checksum校验,提供UI来查看Diff和手动修复,可对接真实来源数据库或者了解Translog日志来进行三方校验

 

基于极限网关的es容灾优势

1.架构清晰简单

2.无缝透明,应用无需调整

3.业务操作级别的复制,跨版本兼容

4.双集群高可用,随时切换

5.后端读写故障对前端业务无感知

6.节点故障自动处理,请求不丢失

7.支持本地磁盘队列和Kafka

8.结合快照和Translog可以重做索引

9.通过校验任务确保三方数据完全一致

10.自带四层网络虚拟ip高可用