随笔分类 -  数据库基础及实践

mysql,maridb,redis,mongodb,memcached
AWS RDS慢日志文件另存到ES并且每天发送邮件统计慢日志
摘要：1.背景：需要对aws rds慢日志文件归档到es，让开发能够随时查看。 2.需求：并且每天把最新的慢日志，过滤最慢的5条sql 发送给各个产品线的开发负责人。 3.准备： aws ak/sk ，如果rds 在不同区域需要认证不同的ak/sk。 已经安装好的es这里不做详细展开。 安装好filebe 阅读全文
posted @ 2023-12-18 10:57 meijinmeng 阅读(8) 评论(0) 推荐(0)
Elasticsearch数据迁移从aliyun到aws
摘要：一. Aliyun Opensearch 快照备份 前言： Aliyun Opeasearch 6.8.6 迁移 Aws OpenSearch 7.10 数据量: 32.5G左右， 数据传输方法 Aliyun OSS -→ Aliyun ECS/ AWS EC2 --→ AWS S3 备份还原方式： 阅读全文
posted @ 2022-08-01 14:31 meijinmeng 阅读(5) 评论(0) 推荐(0)
对Mysql大表进行记录数、数据容量、索引容量进行统计排序
摘要：1.需求：需要请示查询数据库的大表情况，以便进行拆分表 2.方案：a. 云商的DBA 表空间分析 b.自己写sql查询【这里以自己动手写为案例】 3.思路：查询出排名前15的数据库表的行数，数据容量，索引容量 4.代码部分 # -*- coding: utf-8 -*- # Author: jmme 阅读全文
posted @ 2021-05-18 10:58 meijinmeng 阅读(6) 评论(0) 推荐(0)
Elasticsearch集群索引生命周期管理
摘要：一.需求： 数据量每天几TB甚至几十TB的增长时，索引的生命周期管理显得尤为重要。 Elasticsearch7.0以上已经内置了过期策略，这里不再赘述，这里以Elasticsearch6.x版本为例进行配置和使用。 二.方案： 1.工具 ：Elasticsearch索引管理利器——Curator 阅读全文
posted @ 2021-04-22 15:06 meijinmeng 阅读(2) 评论(0) 推荐(0)