在一秒钟内看到本质的人和花半辈子也看不清一件事本质的人，自然是不一样的命运

摘要： SQL脚本规范 本文主要介绍在数据仓库SQL脚本开发中需要遵循的规范，开发者遵循一定的规范能够让数据仓库系统更具扩展性也更容易维护。 SQL脚本命名 在创建SQL脚本之前，首先要确定我们创建这个脚本最终是要得到的结果表。在实际的SQL脚本开发工作中，会把结果表名作为SQL脚本的名称，这样的话，在之后 阅读全文

摘要： 概述 在OLTP系统中，通常使用空值来表示数据的缺失。这里的空值可能是因为数据还未产生，也可能是因为其本身确实没有数据。而在OLAP系统中，如果不对空值做处理，可能会导致事实测量不准确等问题的发生。下面将分别讨论事实表外键空值，事实表属性空值和维度表属性空值这三种情况。 事实表外键空值 要讨论事实表 阅读全文

摘要： 概述 高级分组聚合指在聚合时使用GROUPING SETS、CUBE和ROLLUP的分组聚合。使用高级分组聚合不仅可以简化SQL语句，而且通常情况下会提升SQL语句的性能。 环境准备 下面列出集群的环境配置： 集群有一台Master主机和两台Worker主机，均使用Apache开源版本，以下是集群环 阅读全文

摘要： 概述 在Hive数据库中对SQL进行调优的时候，往往需要了解表的统计信息，比如：分区数量，数据行数，表的大小，文件个数等等。获取Hive表统计信息之前，需要先对Hive表收集统计信息： 非分区表 ANALYZE TABLE table_name COMPUTE STATISTICS; 分区表 ANA 阅读全文

摘要： SQL编码规范 在数据仓库SQL语句的编写中，需要遵循一定的SQL编码规范。遵循这些编码规范可以使代码的可读性强，层次分明，结构清晰。 SQL编码基础规范 基础规范规定所有的SQL语句需要共同遵循的规范。 所有的关键字，函数名统一使用全大写 所有的表名，字段名军使用全小写 对应的括号要在同一列的位置 阅读全文

摘要： 在数据仓库SQL语句的编写过程中，需要遵循一些SQL语句编写的原则，这样做的好处有以下几点： 增加SQL语句的可读性； 方便日后的数据校验排查； 提升SQL语句的性能； 提高SQL代码的复用性和扩展性； 减少SQL语句发生异常。 下面详细列出SQL语句中需要遵循的编码原则： 禁止使用SELECT * 阅读全文