xibuhaohao - 博客园

2019年7月1日

摘要： Postgresql 物理热备份 -- 快照备份阅读全文

posted @ 2019-07-01 15:37 xibuhaohao 阅读(569) 评论(0) 推荐(0) 编辑

摘要： pg_dump备份 pg_dump osdb > osdb.sql pg_dump -h 192.168.122.1 -Uosdb osdb > osdb.sql pg_dump -t testtab > testtab.sql pg_dump -t "schema1.job*" -T schema 阅读全文

posted @ 2019-07-01 15:27 xibuhaohao 阅读(1350) 评论(0) 推荐(1) 编辑

Postgresql pg_restore

摘要： pg_restore参数详解阅读全文

posted @ 2019-07-01 14:53 xibuhaohao 阅读(387) 评论(0) 推荐(0) 编辑

Postgresql pg_dump

摘要： pg_dump 命令详解指定服务器名称指定端口指定要连接的用户名从不提示密码强制pg_dump在连接到一个数据库之前提示密码该设置会导致在连接到数据库时发布一个set role rolename命令。相当于切换到另一个角色。当以验证的用户缺少pg_dump需要的权限时，可以使用这个功能切阅读全文

posted @ 2019-07-01 14:52 xibuhaohao 阅读(711) 评论(0) 推荐(0) 编辑

PostgreSQL 常用数据视图/字典

摘要： 1、pg_namespace 阅读全文

posted @ 2019-07-01 13:38 xibuhaohao 阅读(457) 评论(0) 推荐(0) 编辑

2019年6月28日

PostgreSQL 数据目录结构

摘要：根目录介绍 data ├── base # use to store database file(SELECT oid, datname FROM pg_database;) ├── global # under global, all the filenode is hard-code(selec 阅读全文

posted @ 2019-06-28 17:11 xibuhaohao 阅读(516) 评论(0) 推荐(0) 编辑

Linux gdb分析core dump文件

摘要：文章目录1. coredump1.1 coredump简介1.2 coredump的文件存储路径1.3 coredump产生的条件1.4 coredump产生原因2. 测试生成coredump1. coredump1.1 coredump简介core dump，又称为核心转储，是操作系统在进程收到某阅读全文

posted @ 2019-06-28 10:54 xibuhaohao 阅读(1398) 评论(0) 推荐(0) 编辑

PostgreSQL 配置参数

摘要：一、配置参数所在文件、类型与查看方式 1、配置参数所在文件 postgresql.conf 2、配置参数类型 1）internal只读参数这些参数不配置在postgresql.conf中，他们由postgres程序和在初始化实例时写死 2）postmaster 这些参数的值需要重启PostgreS 阅读全文

posted @ 2019-06-28 10:52 xibuhaohao 阅读(1771) 评论(0) 推荐(0) 编辑

PostgreSQL 不要使用kill -9 杀 Postgresq 用户进程

摘要：转载：http://francs3.blog.163.com/blog/static/4057672720109854858308/ Postgresql 8.3.3 今天应用反映数据库很慢，有些SQL执行一天都没执行完,检查数据库，发现大量会话在更新同一张表 tbl_tmp, 产生大量行锁申请等侍阅读全文

posted @ 2019-06-28 08:42 xibuhaohao 阅读(364) 评论(0) 推荐(0) 编辑

2019年6月27日

Postgresql 日志相关

摘要：目录日志种类作用总结配置文件中与日志相关的配置日志种类 PostgreSQL有3种日志 pg_log（数据库运行日志）内容可读默认关闭的，需要设置参数启动pg_xlog（WAL 日志，即重做日志）内容一般不具有可读性强制开启pg_clog（事务提交日志，记录的是事务的元数据）内容一般不具有阅读全文

posted @ 2019-06-27 17:52 xibuhaohao 阅读(943) 评论(0) 推荐(0) 编辑

PostgreSQL 学习手册-模式Schema

摘要：一个数据库包含一个或多个命名的模式，模式又包含表。模式还包含其它命名的对象，包括数据类型、函数，以及操作符。同一个对象名可以在不同的模式里使用而不会导致冲突；比如，schema1和myschema都可以包含叫做mytable的表。和数据库不同，模式不是严格分离的：一个用户可以访问他所连接的数据库中阅读全文

posted @ 2019-06-27 15:24 xibuhaohao 阅读(215) 评论(0) 推荐(0) 编辑

postgrepSQL psql基础操作

摘要： 1、登录postgrepSQL psql 2、退出postgrepSQL \q 3、查看postgrepSQL里面的数据库 1）psql -l 2)\ l 4、切换DB \c db_name 5、查看DB下面的表、索引、 1）\d 2）\d tab_name 查看表结构 3）\d index_nam 阅读全文

posted @ 2019-06-27 15:20 xibuhaohao 阅读(817) 评论(0) 推荐(0) 编辑

观察网络性能时如何选择工具

摘要：观察网络性能时如何选择工具转载自：http://linuxperf.com/?cat=4 2014/09/30 vmunix Linux系统上的网络工具甚多，如何根据实际需要选择称手的工具呢？在此作一个简单介绍：观察网络流量： “sar -n DEV 1 5” 可以统计每个网卡上的网络流速： < 阅读全文

posted @ 2019-06-27 14:23 xibuhaohao 阅读(201) 评论(0) 推荐(0) 编辑

Linux 理解 %iowait (%wio)

摘要：理解 %iowait (%wio) 2016/02/25 %iowait 是 “sar -u” 等工具检查CPU使用率时显示的一个指标，在Linux上显示为 %iowait，在有的Unix版本上显示为 %wio，含义都是一样的。这个指标常常被误读，很多人把它当作I/O问题的征兆，我自己每隔一段时间就阅读全文

posted @ 2019-06-27 13:48 xibuhaohao 阅读(845) 评论(0) 推荐(0) 编辑

Linux disk 100% busy，谁造成的？

摘要： disk 100% busy，谁造成的？ 2016/11/16 vmunix iostat等命令看到的是系统级的统计，比如下例中我们看到/dev/sdb很忙，如果要追查是哪个进程导致的I/O繁忙，应该怎么办？ <!-- Crayon Syntax Highlighter v_2.7.2_beta - 阅读全文

posted @ 2019-06-27 13:47 xibuhaohao 阅读(852) 评论(0) 推荐(0) 编辑

容易被误读的iostat

摘要：容易被误读的iostat 2016/11/29 vmunix iostat(1)是在Linux系统上查看I/O性能最基本的工具，然而对于那些熟悉其它UNIX系统的人来说它是很容易被误读的。比如在HP-UX上 avserv（相当于Linux上的 svctm）是最重要的I/O指标，反映了硬盘设备的性能，阅读全文

posted @ 2019-06-27 13:46 xibuhaohao 阅读(158) 评论(0) 推荐(0) 编辑

剖析生产系统的I/O模式

摘要：剖析生产系统的I/O模式 2019/02/13 vmunix 了解I/O的特点对于优化系统性能非常重要，I/O是顺序的还是随机的，是读操作还是写操作，读写的比例是多少，I/O数据块的大小，这些都是影响性能的关键因素。很多存储设备都基于特定的I/O模式做过调校，通用的测试工具跑分都相当漂亮，然而一到实阅读全文

posted @ 2019-06-27 13:45 xibuhaohao 阅读(225) 评论(0) 推荐(0) 编辑

利用blktrace分析IO性能

摘要：利用blktrace分析IO性能 2019/02/15 vmunix 在Linux系统上，如果I/O发生性能问题，有没有办法进一步定位故障位置呢？iostat等最常用的工具肯定是指望不上的，【容易被误读的iostat】一文中解释过await表示单个I/O所需的平均时间，但它同时包含了I/O Sche 阅读全文

posted @ 2019-06-27 13:44 xibuhaohao 阅读(710) 评论(0) 推荐(1) 编辑

Linux系统出现hung_task_timeout_secs和blocked for more than 120 seconds的解决方法

摘要： Linux系统出现系统没有响应。在/var/log/message日志中出现大量的 “echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.” 和“blocked for more than 120 seco 阅读全文

posted @ 2019-06-27 11:47 xibuhaohao 阅读(6261) 评论(0) 推荐(0) 编辑

Linux 大文件的分割与合并

摘要： Linux 大文件的分割与合并１．分割 -- split命令可以指定按行数分割和按字节大小分割两种模式。 (1) 按行数分割 $ split -l 300 large_file.txt new_file_prefix 加上-d，使用数字后缀；加上--verbose，显示分割进度： $ split 阅读全文

posted @ 2019-06-27 11:43 xibuhaohao 阅读(1210) 评论(0) 推荐(0) 编辑

Linux 文件系统缓存dirty_ratio与dirty_background_ratio两个参数区别

摘要：文件系统缓存dirty_ratio与dirty_background_ratio两个参数区别 (2014-03-16 17:54:32) 转载▼ 文件系统缓存dirty_ratio与dirty_background_ratio两个参数区别转载▼ 标签： linux 文件系统缓存 cache dir 阅读全文

posted @ 2019-06-27 11:41 xibuhaohao 阅读(1361) 评论(0) 推荐(0) 编辑

2019年6月26日

Linux 理解Linux的memory overcommit 与 OOM Killer

摘要： Memory Overcommit的意思是操作系统承诺给进程的内存大小超过了实际可用的内存。一个保守的操作系统不会允许memory overcommit，有多少就分配多少，再申请就没有了，这其实有些浪费内存，因为进程实际使用到的内存往往比申请的内存要少，比如某个进程malloc()了200MB内存，阅读全文

posted @ 2019-06-26 09:35 xibuhaohao 阅读(1031) 评论(0) 推荐(0) 编辑

oom killer 详解

摘要：一、oom killer理解和日志分析:知识储备 oom killer日志分析，这是前篇，准备一些基础知识带着问题看： 1.什么是oom killer 是Linux内核设计的一种机制，在内存不足的时候，选择一个占用内存较大的进程并kill掉这个进程，以满足内存申请的需求（内存不足的时候该怎么办，其阅读全文

posted @ 2019-06-26 09:07 xibuhaohao 阅读(6474) 评论(0) 推荐(0) 编辑

2019年6月25日

MySQL · 引擎特性 · InnoDB 事务系统

摘要： MySQL · 引擎特性 · InnoDB 事务系统 MySQL · 引擎特性 · InnoDB 事务系统 MySQL · 引擎特性 · InnoDB 事务系统前言关系型数据库的事务机制因其有原子性，一致性等优秀特性深受开发者喜爱，类似的思想已经被应用到很多其他系统上，例如文件系统等。本文主要介阅读全文

posted @ 2019-06-25 16:31 xibuhaohao 阅读(386) 评论(0) 推荐(0) 编辑

Linux OOM-killer 内存不足时kill高内存进程的策略

摘要： OOM_killer是Linux自我保护的方式，当内存不足时不至于出现太严重问题，有点壮士断腕的意味在kernel 2.6，内存不足将唤醒oom_killer，挑出/proc/<pid>/oom_score最大者并将之kill掉为了保护重要进程不被oom-killer掉，我们可以：echo -1 阅读全文

posted @ 2019-06-25 13:53 xibuhaohao 阅读(5664) 评论(0) 推荐(0) 编辑

2019年6月21日

Oracle 中MERGE语句的用法

摘要：原文章出处（http://blog.csdn.net/lichkui/article/details/4306299） MERGE语句是Oracle9i新增的语法，用来合并UPDATE和INSERT语句。通过MERGE语句，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPD 阅读全文

posted @ 2019-06-21 18:17 xibuhaohao 阅读(637) 评论(0) 推荐(0) 编辑

MySQL 事务 MVCC 版本链

摘要：版本链对于使用InnoDB存储引擎的表来说，它的聚簇索引记录中都包含两个必要的隐藏列（row_id并不是必要的，我们创建的表中有主键或者非NULL唯一键时都不会包含row_id列）： 1）trx_id：每次对某条聚簇索引记录进行改动时，都会把对应的事务id赋值给trx_id隐藏列。 2）roll_ 阅读全文

posted @ 2019-06-21 16:49 xibuhaohao 阅读(967) 评论(0) 推荐(0) 编辑

MySQL MVCC

摘要： MySQL事务隔离级别的实现原理回顾在MySQL的众多存储引擎中，只有InnoDB支持事务，所有这里说的事务隔离级别指的是InnoDB下的事务隔离级别。读未提交：一个事务可以读取到另一个事务未提交的修改。这会带来脏读、幻读、不可重复读问题。（基本没用）读已提交：一个事务只能读取另一个事务已经阅读全文

posted @ 2019-06-21 16:25 xibuhaohao 阅读(5127) 评论(0) 推荐(0) 编辑

MySQL表结构，表空间，段，区，页，MVCC ，undo 事务槽

摘要：索引组织表（IOT表）：为什么引入索引组织表，好处在那里，组织结构特点是什么，如何创建，创建IOT的限制LIMIT。 IOT是以索引的方式存储的表，表的记录存储在索引中，索引即是数据，索引的KEY为PRIMARY KEY。数据的查询可以通过查询索引的同时查询到数据，因为索引和数据存储在一个数据块中，阅读全文

posted @ 2019-06-21 16:20 xibuhaohao 阅读(467) 评论(0) 推荐(0) 编辑

Oracle RAC 服务启动流程

摘要：启动流程步骤层次梳理：第一层：OHASD 启动：cssdagent - 负责启动 CSSD 的 Agent。orarootagent - 负责启动所有 root 用户下的 ohasd 资源的Agent。oraagent - 负责启动所有 oracle 用户下的 ohasd 资源的 Agent。cs 阅读全文

posted @ 2019-06-21 16:08 xibuhaohao 阅读(944) 评论(0) 推荐(0) 编辑

PostgreSQL10.5 - 创建索引的思考

摘要：总体感觉整个索引创建的比较慢，PostgreSQL10没有并行创建索引的功能，所以执行过程中，仅用到了服务器的一个核心来执行计算。索引创建是一个高CPU消耗的工作，CPU基本会跑满，会用到backend的两个work_mem进行排序，并没有什么实质的IO操作，读写操作会在中间和最后分段批量执行。背阅读全文

posted @ 2019-06-21 09:48 xibuhaohao 阅读(428) 评论(0) 推荐(0) 编辑

“王者对战”之 MySQL 8 vs PostgreSQL 10

摘要：  转载自：http://www.enmotech.com/web/detail/1/710/1.html 转载自：http://www.enmotech.com/web/detail/1/710/1.html 本文是对两大开源关系型数据库MySQL、PostgreSQL 阅读全文

posted @ 2019-06-21 09:43 xibuhaohao 阅读(362) 评论(0) 推荐(0) 编辑

PostgreSQL 进程结构

摘要：本文主要讲述了PG的几个主要进程，以及PG的核心架构。进程和体系结构详见下图：从上面的体系结构图可以看出来，PG使用经典的C/S架构，进程架构。在服务器端有主进程、服务进程、子进程、共享内存以及文件存储几大部分，下面着重讲述服务器端的进程部分： 1. Postmaster主进程和服务进程当PG数阅读全文

posted @ 2019-06-21 09:28 xibuhaohao 阅读(2246) 评论(0) 推荐(0) 编辑

2019年6月20日

Linux core dump 诊断进程奔溃退出

摘要：最近项目中出现了一个问题，服务器端程序会突然崩溃退出，我们采取了coredump技术以找到崩溃原因，即确定进程退出时正在执行的函数是哪个，其状态如何。如果系统开启了coredump，准确的说如果当前的shell环境开启了coredump，当前shell环境下的程序崩溃退出时，会把当时进程的栈的内存阅读全文

posted @ 2019-06-20 17:42 xibuhaohao 阅读(395) 评论(0) 推荐(0) 编辑

linux下core dump--转载

摘要：原文链接：https://www.cnblogs.com/Anker/p/6079580.html 1、前言一直在从事linux下后台开发，经常与core文件打交道。还记得刚开始从事linux下开发时，程序突然崩溃了，也没有任何日志。我不知所措，同事叫我看看core，我却问什么是core，怎么看。阅读全文

posted @ 2019-06-20 11:45 xibuhaohao 阅读(230) 评论(0) 推荐(0) 编辑

2019年6月18日

Kafka 消息队列系列之分布式消息队列Kafka

摘要：介绍 ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？我们认为流媒体平台具有三个关键功能：它可以让你发布和订阅记录流。在这方面，它类似于消息队列或企业消息传递系统。它允许您以容错方式存储记录流。它可以让您在发生记录时处理记录流。什么是卡夫卡好？它被用于两大类的应用程序：构建可阅读全文

posted @ 2019-06-18 08:54 xibuhaohao 阅读(604) 评论(0) 推荐(0) 编辑

详解Kafka: 大数据开发最火的核心技术

摘要：详解Kafka: 大数据开发最火的核心技术架构师技术联盟 2019-06-10 09:23:51 本文共3268个字，预计阅读需要9分钟。广告广告大数据时代来临，如果你还不知道Kafka那你就真的out了(快速掌握Kafka请参考文章：如何全方位掌握Kafka核心技术)！据统计，有三分之一的阅读全文

posted @ 2019-06-18 08:52 xibuhaohao 阅读(283) 评论(0) 推荐(0) 编辑

MySQL 效率提高N倍的19条MySQL优化秘籍

摘要：效率提高N倍的19条MySQL优化秘籍数据和云 2019-06-10 09:20:10 本文共3749个字，预计阅读需要10分钟。广告广告一、EXPLAIN 做MySQL优化，我们要善用 EXPLAIN 查看SQL执行计划。下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据阅读全文

posted @ 2019-06-18 08:44 xibuhaohao 阅读(207) 评论(0) 推荐(0) 编辑

2019年6月17日

MySQL index使用率查询

摘要： SELECT t.table_schema AS db, t.table_name AS tab_name, s.index_name AS index_name, s.column_name AS field_name, s.seq_in_index AS seq_in_index, s2.max 阅读全文

posted @ 2019-06-17 10:57 xibuhaohao 阅读(184) 评论(0) 推荐(0) 编辑

2019年6月13日

Oracle Index 索引监控

摘要： 1、冗余索引的弊端大量冗余和无用的索引导致整个数据库性能低下，耗用了大量的CPU与I/O开销，具体表现如下: a、耗用大量的存储空间(索引段的维护与管理) b、增加了DML完成的时间 c、耗用大量统计信息(索引)收集的时间 d、结构性验证时间 f、增加了恢复所需的时间 2、单个索引监控 a、对于单阅读全文

posted @ 2019-06-13 09:33 xibuhaohao 阅读(485) 评论(0) 推荐(0) 编辑

公告