PostgreSQL - 随笔分类 - 一泽涟漪

利用Python脚本备份服务器上所有PostgreSQL数据库

摘要：脚本内容 #! /usr/local/python3/bin/python import os import psycopg2 import time db_host = "172.16.101.54" db_port = 5432 db_user = "dbadmin" db_password = 阅读全文

posted @ 2020-03-14 11:30 一泽涟漪阅读(1409) 评论(0) 推荐(0)

利用PgBouncer数据库中间件实现连接池的功能

摘要：PgBouncer是一个轻量级的PostgreSQL数据库连接池，可作为应用服务器与数据库服务器之间的数据库中间件使用。测试环境主机名 IP地址角色数据名数据库版本 sht-sgmhadoopcm-01 172.16.101.54 Proxy(安装Pgbouncer) pgbouncer( 阅读全文

posted @ 2020-03-13 21:24 一泽涟漪阅读(662) 评论(0) 推荐(0)

PostgreSQL 循环导出schema的脚本

摘要：需要备份的schema列表 $ cat /usr/local/pgsql/dba/exp/need_backup_schema.txt $ cat need_backup_schema.txt pipeline_na_16q3_v4 pipeline_na_16q4_v8 pipeline_na_1 阅读全文

posted @ 2019-12-14 17:07 一泽涟漪阅读(983) 评论(0) 推荐(0)

PostgreSQL unlogged表

摘要：PostgreSQL有一种介于正常表和临时表之间的类型表，称之为unlogged表，在该表新建的索引也属于unlogged，该表在写入数据时候并不将数据写入到持久的write-ahead log文件中，在数据库异常关机或者异常崩溃后该表的数据会被truncate掉，但是在写入性能上会比正常表快几倍。阅读全文

posted @ 2019-11-02 18:44 一泽涟漪阅读(5342) 评论(3) 推荐(0)

PostgreSQL创建只读账户

摘要：目前PostgreSQL并不能像MySQL一样直接对某个数据库赋予只读权限，现实中有研发需要新建一个用户然后赋予对某个数据库只读权限。举例说明如何创建用edbstore用户连接edbstore数据库，并创建一个测试schema $ psql -U edbstore edbstore psql ( 阅读全文

posted @ 2019-08-24 18:26 一泽涟漪阅读(2999) 评论(0) 推荐(0)

利用tablespace特性将数据库移动到新磁盘

摘要：目前开发一台EC2的PostgreSQL服务器的磁盘空间已经严重不足，该磁盘非LVM，所以不考虑磁盘扩容方法，研发希望可以分区/data/02对应的/dev/xvdl1磁盘分担部分数据库的数据，这样也不用另加磁盘，这里研发列出了部分数据库。此处借用tablespace特性将部分数据迁移到新磁盘查看阅读全文

posted @ 2018-07-06 17:05 一泽涟漪阅读(329) 评论(0) 推荐(0)

PostgreSQL查看表大小的命令

摘要：查看当前库表和物化视图总大小阅读全文

posted @ 2018-06-29 17:04 一泽涟漪阅读(2740) 评论(0) 推荐(0)

PostgreSQL CPU占用100%性能分析及慢sql优化

摘要：查看连接数变化 CPU利用率到达100%，首先怀疑，是不是业务高峰活跃连接陡增，而数据库预留的资源不足造成的结果。我们需要查看下，问题发生时，活跃的连接数是否比平时多很多。对于RDS for PG，数据库上的连接数变化，可以从控制台的监控信息中看到。而当前活跃的连接数>可以直接连接数据库，使用下列查阅读全文

posted @ 2018-03-01 14:02 一泽涟漪阅读(15252) 评论(0) 推荐(0)

PostgreSQL schema/table等大小查看

摘要：1. 查看当前库sehcma大小,并按schema大小排序 SELECT schema_name, pg_size_pretty(sum(table_size)::bigint) as "disk space", round((sum(table_size) / pg_database_size(c 阅读全文

posted @ 2017-08-26 14:06 一泽涟漪阅读(6824) 评论(1) 推荐(0)

Slony-I同步复制部署

摘要：本次测试环境 il_longlive.entity il_longlive.entity_result il_longlive.result il_longlive.result_logbook il_longlive.entity il_longlive.entity_result il_long 阅读全文

posted @ 2017-06-15 13:52 一泽涟漪阅读(1138) 评论(0) 推荐(0)

PostgreSQL数据库单机扩展为流复制

摘要：primary:10.189.102.118 standby:10.189.100.195 1. 配置ssh互信机制在primary主库执行在standby备库执行 2. 在standby服务器安装postgres数据库,不需要初始化. 安装过程详见:http://www.cnblogs.com 阅读全文

posted @ 2017-06-13 23:34 一泽涟漪阅读(1151) 评论(0) 推荐(0)

PostgreSQL主备流复制机制

摘要：原文出处 http://mysql.taobao.org/monthly/2015/10/04/ PostgreSQL在9.0之后引入了主备流复制机制，通过流复制，备库不断的从主库同步相应的数据，并在备库apply每个WAL record，这里的流复制每次传输单位是WAL日志的record。而Pos 阅读全文

posted @ 2017-06-13 17:59 一泽涟漪阅读(2662) 评论(0) 推荐(0)

PostgreSQL进程和内存结构

摘要：PostgreSQL数据库启动时,会先启动一个叫做Postmaster的主进程,还会fork一些辅助子进程,这些辅助子进程各自负责一部分功能,辅助子进程分类如下: 1. Postmaster进程主进程Postmaster是整个数据库实例的总控制进程,负责启动和关闭数据库实例,用户可以运行postm 阅读全文

posted @ 2017-06-12 22:02 一泽涟漪阅读(4366) 评论(0) 推荐(1)

PostgreSQL导出一张表到MySQL

摘要：1. 查看PostgreSQL表结构,数据量,是否有特殊字段值 2. 导出PostgreSQL表结构 3. 导出PostgreSQL表的所有字段 4. 将备份集传到MySQL数据库服务器 5. 编辑表结构文件修改字段类型并创建MySQl表结构 6. 加载数据到MySQL表中 7. 验证导入的数据阅读全文

posted @ 2017-06-11 15:13 一泽涟漪阅读(2868) 评论(0) 推荐(0)

PostgreSQL&PostGIS完全安装

摘要：检查PostGIS、PostgreSQL、GEOS、GDAL、PROJ等各软件的版本依赖关系 http://trac.osgeo.org/postgis/wiki/UsersWikiPostgreSQLPostGIS 1. 创建postgres用户和组 # groupadd -g 101 dba # 阅读全文

posted @ 2017-06-10 17:14 一泽涟漪阅读(21746) 评论(0) 推荐(0)

PostgreSQL常用函数

摘要：1.系统信息函数 1.会话信息函数阅读全文

posted @ 2017-06-09 23:26 一泽涟漪阅读(2149) 评论(0) 推荐(0)

随笔分类 - PostgreSQL