database - 随笔分类(第2页) - 5sdba

gp日志查看

摘要：笔记：之前登录master节点看pg_log目录下的文件，后面每次这样看感觉挺不方便的，查了一下文档 select ma.logtime at time zone 'CST' as logtime,ma.loguser,ma.logpid,ma.loghost,ma.logstate,ma.logm 阅读全文

posted @ 2020-12-13 12:32 5sdba 阅读(1212) 评论(0) 推荐(0)

mongo日志可视化

摘要：原始mongod.log格式： 2020-11-26T21:33:45.896+0800 I NETWORK [listener] connection accepted from 10.10.6.192:52138 #1663452 (121 connections now open) 2020- 阅读全文

posted @ 2020-12-06 18:00 5sdba 阅读(439) 评论(0) 推荐(0)

redis的session清理

摘要：(1)统计redis连接信息 echo 'client list' | /apps/svr/redis/bin/redis-cli -h 127.0.0.1 -p 6379 |awk '{print $1}' | awk -F '[=,:]' '{print $2}' | sort -n | uni 阅读全文

posted @ 2020-12-06 17:59 5sdba 阅读(894) 评论(0) 推荐(0)

metabase sql统计留存率

摘要：1 -- 上周注册了100人，上周以前注册(200人)， 2 -- 本周登录了50人（上周注册的100人里面有50人本周登录）， 3 -- 本周登录了20人（上周之前注册注册的200人里面有80人在上周登录过并且本周登录了20人） 4 -- 新用户留存率 50/100 5 -- 老用户留存率 20/ 阅读全文

posted @ 2020-12-06 17:58 5sdba 阅读(457) 评论(0) 推荐(0)

cannot be cast automatically to type timestamp without time zon

摘要：一个字段是varchar类型，里面存的都是日期值，没有不符合日期的格式的数据，但是直接把字段varchar-->timestamp就会报错，以前mysql里面如果数据都是正常的，可以直接转，应该是mysql帮做了内部转换。现在的步骤为：（1）先加一个临时列，类型为需要的类型timestamp，然阅读全文

posted @ 2020-11-14 11:56 5sdba 阅读(979) 评论(0) 推荐(0)

mysql索引批量在postgres里面重建

摘要：使用AWS的dms同步工具，把mysql数据同步到postgres,工具本身是没办法同步索引这些信息，也还有一些额外的限制，重建索引就相当麻烦了，写了一个脚本： mysql执行,查询mysql里面有哪些索引，生成postgres里面建索引的语法： select table_name,concat(c 阅读全文

posted @ 2020-08-08 18:35 5sdba 阅读(258) 评论(0) 推荐(0)

AWS多元复制到EC2机器

摘要：需求：把多个rds同步到一个rds,实现跨实例数据查询。由于AWS rds本身不支持多元复制，只能利用ec2自建mysql，然后把rds数据同步下来。 (1)确定4个rds slave 需要同步的库 select concat('replicate_wild_do_table=',TABLE_SC 阅读全文

posted @ 2020-07-17 21:02 5sdba 阅读(269) 评论(0) 推荐(0)

AWS告警优化

摘要：(1)AWS添加sns，略过 (2)添加自定义webhook钉钉机器人，略过。 (3)编写lambda函数脚本，利用cloudwatch触发告警。 # -*- coding: utf-8 -*- import json import os import re import datetime from 阅读全文

posted @ 2020-06-19 21:02 5sdba 阅读(532) 评论(0) 推荐(0)

mongo微服务搭建

摘要：(1)写了个yaml配置文件，可以再根据mongo参数增添，我的都没配置什么。 [root@dev01 mongo]# cat mongo_cluster.yaml version: '3' services: node1: container_name: node1 image: mongo ne 阅读全文

posted @ 2020-06-14 19:02 5sdba 阅读(200) 评论(0) 推荐(0)

gp批量字段大写转小写

摘要：CREATE OR REPLACE FUNCTION "ods"."transbln"() RETURNS "pg_catalog"."void" AS $BODY$ DECLARE v_rec record; BEGIN -- -- 让读书成为一种生活方式。就像吃喝拉撒每天必须要干的事， -- 终阅读全文

posted @ 2020-05-19 20:29 5sdba 阅读(556) 评论(0) 推荐(0)

mysql sql语句统计查询

摘要：环境是mysql8.0 之前调研过mysql audit 插件，均没有发现能适合mysql8.0环境的，除了企业版mysql审计插件，于是想了一个办法，把mysql慢日志时间改为0，这样所有sql都会被记录到慢日志里面,然后在用pt工具解析，过滤，然后写入到数据库。 my.cnf慢日志配置： slo 阅读全文

posted @ 2020-05-17 14:04 5sdba 阅读(639) 评论(0) 推荐(0)

ansible一键安装mysql8.0

摘要：ansbile安装: # ansible在CentOS7中需要安装epel仓库 yum install -y epel-release yum install -y ansible 安装有好几种方法，yum安装是最简单的，安装ansible不是重点。我的版本如下： [root@szwpldb108 阅读全文

posted @ 2020-05-01 13:41 5sdba 阅读(1764) 评论(0) 推荐(0)

mysql增量同步到greenplum

摘要：采用工具：maxwell+Kafka+bireme maxwell：maxwell能实时解析MySQL的binlog，并输出json格式的数据发送到Kafka（还支持其它的消息中间件），具体参见：maxwell官网 Kafka: 一种消息中间件，在该方案中主要用于消息中转，具体参见Kafka官网 b 阅读全文

posted @ 2020-04-29 17:12 5sdba 阅读(1074) 评论(0) 推荐(0)

5sdba

随笔分类 - database