OLAP学习与理解

• 常见相关词汇收集

　　OLAP（On-Line Analytical Processing）- 联机分析处理

　　OLTP（on-line transaction processing）- 联机事务处理

　　DW（Data Warehouse）- 数据仓库

　　ETL（Extract-Transform-Load） -  数据抽取、转换、装载的过程

　　BI（Business Intelligence）- 商业智能

　　DC（Data Cube） - 数据立方体

 

• OLAP相关概念学习
  数据处理大致可以分成两大类：OLTP，OLAP。
  OLTP核心是传统关系型数据库的事务处理（增删改查），强调内存的使用跟并发量。
  OLAP核心是数据分析处理（查询为主）为决策做支持，处理的数据量往往很庞大， 所以强调I/O的效率不要求并发。
  
  
• OLAP主要概念
  Dimensions（维度）
  Measures（度量）
  Cubes（立方体）= Dimensions（维度） + Measures（度量）
  Hierarchy（维的层级）
  Levels（维的级别）
  Members（维的成员）
  具体举个例子，维度为时间，那么度量就是具体的时间值如（2020年4月19号），维的层级就是（年月日），维的级别就是（年，月，日）与层级是父子关系，维的成员就是基本单位（1日）。

　　DataCube实例：
　　　　　　　　　　　　　　

 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图1

　　　　对于DC的操作：钻取（Drill-down）、上卷（Roll-up）、切片（Slice）、切块（Dice）以及旋转（Pivot）
　　　　　　　　　

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图2

　　　　简单概括：
　　　　钻取，将数据细化，如把第二季度细分为月份，对应操作为groupby，
　　　　上卷，将其某一维度合并，如江浙沪合并，对应操作为sum，
　　　　切片，将其某一维度只保留一个成员，对应操作为where x=x1 ，
　　　　切块，将其某一维度保留多个个成员，对应操作为where x=x1 or x = x2,.
　　　　旋转，将维度维度的位置调换，SELECT后面字段的顺序而已。

　　　　

• OLAP的分类
  分为ROLAP，MOLAP，HOLAP三种。
  ROLAP强调使用关系型数据库存储。
  MOLAP不用关系型数据库存储，采用特殊的存储手段，比如压缩、索引(如位图索引)以及缓存技术，这样使得MOLAP相较于ROLAP查询效率更高。
  HOLAP就是包括了ROLAP跟MOLAP,根据不同的数据需求采用不同的存储手段，HOLAP可以利用MOLAP存储热数据，使用ROLAP存储历史冷数据。目前业界研发和使用比较流行的就是HOLAP。
  
  
• OLAP的实践
  对于建立数据仓库主要分成以下几部分：
  源数据->ETL->(消息中间或者分布式文件存储系统)->OLAP存储系统->OLAP查询代理->用户
  
  
  

　　引用：

　　文章中图一图二均引用自：
　　http://webdataanalysis.net/web-data-warehouse/data-cube-and-olap/