摘要: 通过极限网关来加速索引写入速度 ## 操作手册 ### 测试环境 - 主集群:[http://10.0.1.2:9200](http://10.0.1.2:9200) , 用户名: elastic 密码:\*\*\* ,9 节点 , 硬件规格:12C64GB (31GB JVM) - 备集群:[http://10.0.1.15:9 阅读全文
posted @ 2023-07-21 15:43 极限实验室 阅读(67) 评论(0) 推荐(0)
摘要: 用极限网关实现 ES 容灾,简单! 身为 IT 人士,大伙身边的各种系统肯定不少吧。系统虽多,但最最最重要的那套、那几套,大伙肯定是捧在手心,关怀备至。如此重要的系统,万一发生故障了且短期无法恢复,该如何保障业务持续运行? 有过这方面思考或经验的同学,肯定脱口而出--切灾备啊。 是的,接下来我来介绍下我们的 ES 灾备方案。当然如果你 阅读全文
posted @ 2023-07-19 17:47 极限实验室 阅读(121) 评论(0) 推荐(0)
摘要: 有这么一个需求: > 网关里怎样对跨集群搜索进行支持的呢?我想实现: 输入的搜索请求是 `lp:9200/index1/_search` > 这个索引在 3 个集群上,需要跨集群检索,也就是网关能否改成 `lp:9200/cluster01:index1,cluster02,index1,clust 阅读全文
posted @ 2023-07-18 09:14 极限实验室 阅读(43) 评论(0) 推荐(0)
摘要: ## 摘要 为了验证当前集群经常出现索引超时以及请求拒绝的问题,现模拟线上集群环境及索引设置,通过压测工具随机生成测试数据,针对当前的 850 个分片的索引,以及减半之后的索引,以及更小分片索引的写入进行压测,使用不同的并发、不同的批次大小来观察索引的吞吐情况,并记录写入队列的堆积情况,用来分析分片 阅读全文
posted @ 2023-07-17 17:23 极限实验室 阅读(95) 评论(0) 推荐(0)
摘要: 在使用 ES 的过程中,如果 ES 集群中存放的是敏感数据,是不能够随便供人查看的。什么?在排查故障?那也不行,合规高于一切。 不知道大家有没有遇到过上面描述的情景,或者如果是你遇到了,你会怎么办呢? 我们常常讲,解决问题要抓住问题的本质。人类的本质是复读机,上述问题的本质是"敏感"。 既然问题的本 阅读全文
posted @ 2023-07-14 15:02 极限实验室 阅读(38) 评论(0) 推荐(0)
摘要: 近日,由 DataFun 主办的 **DataFunSummit 2023 数据基础架构峰会** 圆满落下帷幕,本次峰会邀请了腾讯、百度、字节、**极限科技**、Zilliz 等众多企业技术专家为大家带来分布式存储以及向量数据库的架构原理、性能优化与实践解析分享。 ![](https://infin 阅读全文
posted @ 2023-07-13 09:50 极限实验室 阅读(158) 评论(0) 推荐(0)
摘要: ## 前言 在[上一节](./what-is-vector-database-01.md)中,我们简要介绍了向量数据库的背景以及对非结构化数据进行向量化的方法,即 Embedding。那么我们如何将这些特征向量应用于搜索任务呢?在搜索任务中,最常见的情况是从数据库中查找与给定向量最相似的数据。因此, 阅读全文
posted @ 2023-07-12 23:20 极限实验室 阅读(103) 评论(0) 推荐(0)
摘要: ## 导读 据 IDC 预测,2018 年到 2025 年之间,全球产生的数据量将会从 33 ZB 增长到 175 ZB, 复合增长率达到 27%,其中超过 80% 的数据都会是处理难度较大的非结构化数据。尽管传统的结构化数据仅占总数据量的不到 20%,但现代数据处理技术已经拥有成熟的基础软件栈来处 阅读全文
posted @ 2023-07-11 11:05 极限实验室 阅读(108) 评论(0) 推荐(0)
摘要: 功能介绍 # 在 INFINI Console 1.3.0 版本里,数据迁移功能增加了对增量迁移的支持。这篇文章将会介绍增量迁移的具体使用方法和实现原理。 场景介绍 # 以常见的日志场景为例,假设 A 集群有一个用来记录线上 HTTP 请求记录的索引 request-logs,数据结构如下: { " 阅读全文
posted @ 2023-07-10 15:00 极限实验室 阅读(125) 评论(1) 推荐(0)
摘要: 【 INFINI Workshop 上海站】7 月 27 日下午 和 INFINI Labs 的技术专家面对面,第一时间了解极限实验室的发布最新产品和功能特性,通过动手实战,快速掌握最前沿的搜索技术,并用于实际项目中。欢迎大家免费报名参加。 活动时间:2023-07-27 13:30~17:30 活 阅读全文
posted @ 2023-07-08 18:59 极限实验室 阅读(26) 评论(0) 推荐(0)