狂神314

摘要： 数据仓库初体验 数据库仓库架构以前弄的很简单：将各种源的数据统一汇聚到DW中，DW没有设计，只是将所有数据汇聚起来； ETL也很简单，只是将数据同步到DW中，只是遇到BUG时，处理一些错误数据，例如：字符串中有分隔符，有回车等等。 仔细看了一些概念后，发现DW是需要经过仔细的设计架构的，下面还是纪录 阅读全文

摘要： 这两天接触到ODS，开始很纳闷，有了DW(Data Warehouse)干嘛还要ODS(Operational Data Store)，于是不查不知道，一查吓一跳，这里面还有这么多道道，这里总结一下，当作学习了。 简单说： DW 数据仓库存储是一个面向主题的，反映历史变化数据，用于支撑管理决策。 O 阅读全文

摘要： ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载”，但我们日常往往简称其为数据抽取。 ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程， 阅读全文

摘要： 之前在研究pgpoll时，发现trigger_file参数指定的文件存在后，会自动将standby节点提升为可写节点。不需要手动执行pg_ctl promote，但是这个时间一般有延迟，因为进程会定期检查复制过程。 今天发现primary_conninfo信息改变，复制过程不会变化，需要重启stan 阅读全文

摘要： 转自：http://blog.chinaunix.net/uid-639516-id-2692517.html 一．RAID定义RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出，最初是为了组合小的廉价磁盘来代替 阅读全文

摘要： DataV 是阿里云出品的拖拽式可视化工具，专精于业务数据与地理信息融合的大数据可视化。 阅读全文

摘要： 转自：http://time-track.cn/postgresql-window-function.html PostgreSQL提供了窗口函数的特性。窗口函数也是计算一些行集合（多个行组成的集合，我们称之为窗口window frame）的数据，有点类似与聚集函数（aggregate functi 阅读全文

摘要： 关于重复行问题： 在SQL Server中则可以自动排出重复行，不需要处理。在Oracle中经常遇到upsert语法，来排出冲突行。在PostgreSQL中，也需要手动排出重复行，否则会爆出错误，upsert用法如下： 经过测试，发现这种方法效率很低，于是将upsert过程拆分为两个过程，先inse 阅读全文

摘要： wal_level = archive archive_mode = on archive_command = 'test ! -f /usr/local/pgsql/archive_xlog/%f && cp %p /usr/local/pgsql/archive_xlog/%f' 阅读全文

摘要： master－standby情况下，发生如下行为： 1.master停掉后，standby做为新的master（可能存在部分事物没有同步到standby中）。 2.新master运行过程中出错，进行恢复，时间线发生变化。 3.旧master启动前，先跟新master进行pg_rewind，会出现时间 阅读全文