Doris 一款现代化的MPP分析性数据库产品 支持亚秒级响应 支持10PB以上数据集 兼容MySQL协议 基础概念 doris有3种基础表： 明细表(Duplicate)：一张普普通通的表，doris默认表模式，支持数据预排序 主键表(Unique)：一种特殊的聚合表，如果主键重复，会自动更新其他 Read More
posted @ 2024-05-20 17:41
MrSponge
Views(2763)
Comments(0)
Diggs(0)
目录ES索引数据迁移、分片数优化（reindex）业务背景步骤新建索引将原索引数据复制到新索引中校验结果删除原索引给新索引起别名创建新索引的metric脚本整合使用感受 ES索引数据迁移、分片数优化（reindex） Elasticsearch是⼀个实时的分布式搜索引擎，为⽤户提供搜索服务。当我 Read More
posted @ 2024-05-08 17:31
MrSponge
Views(1829)
Comments(0)
Diggs(0)
目录查询所有metric查询metric信息查询索引信息metric数据查询metric数据条件查询,查询条件适配ES原生查询条件metric数据量查询metric类SQL查询创建metric数据写入批量数据写入删除metric删除子表（索引）删除metric数据查询分片数据查询index查询集群状 Read More
posted @ 2024-05-06 14:32
MrSponge
Views(98)
Comments(0)
Diggs(0)
目录Scrapy什么是scrapy创建爬虫项目制作爬虫步骤创建爬虫文件执行爬虫文件response的数据和方法Scrapy shellScrapy架构组成即工作原理（重要）架构组成工作原理SpidersSpiders 返回Itemsspiders返回Requests开始scrapy爬虫1. 创建爬虫 Read More
posted @ 2024-04-16 11:49
MrSponge
Views(113)
Comments(0)
Diggs(0)
批量pg2pg增量同步 DataX.json配置文件：pg2pg_increment_sync.json { "job": { "setting": { "speed": { "channel": 1 } }, "content": [ { "reader": { "name": "postgres Read More
posted @ 2024-03-11 12:57
MrSponge
Views(771)
Comments(0)
Diggs(0)
ES路由计算与分片控制 ES存储数据到哪一块分片是按照当前数据的hash值与分片书取模决定的，即路由计算 = hash(id) % 分片数。 当某块分片具备的该条数据，那它的副本都会存在，因此这就引申出了分片控制？ 只要该台机器的副本有数据，就能访问到，因此分片控制最好控制再每台机器都存有某块分片的 Read More
posted @ 2024-02-22 16:26
MrSponge
Views(73)
Comments(0)
Diggs(0)
批量索引文档 如果你有大量文档要索引，你能通过批量 API（bulk API） 来批量提交它们。批量文档操作比单独提交请求显著更快，因为它极简了网络往返。 最佳的批量数量取决于许多因素：文档的大小和复杂度、索引和搜索的负载以及集群可用资源。一种好的方式是批量处理 1,000 到 5,000 个文档， Read More
posted @ 2024-02-22 16:18
MrSponge
Views(130)
Comments(0)
Diggs(0)
创建索引 curl -X PUT http://localhost:9200/shopping 创建索引使用-X参数指定PUT请求，ES7.x后默认创建索引是1个分片数 PUT请求是幂等性的，如果重复创建，会报错 Linux中用curl命令操作ES需指定用户名密码(本文省略)，具体样例如下： cur Read More
posted @ 2024-02-22 16:17
MrSponge
Views(278)
Comments(0)
Diggs(0)
RestAPI简单介绍 REST的作用是将我们上面提到的查看（view），创建（create），编辑（edit）和删除（delete）直接映射到HTTP 中已实现的GET,POST,PUT和DELETE方法。 这四种方法是比较常用的，HTTP总共包含八种方法： GET POST PUT DELETE Read More
posted @ 2024-02-22 16:15
MrSponge
Views(120)
Comments(0)
Diggs(0)
Elasticsearch是一个基于Lucene的搜索服务器，提供了一个分布式多租户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计Elasticsearch的目的是通过简单 Read More
posted @ 2024-02-22 16:14
MrSponge
Views(54)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号