《唯品会海量实时OLAP分析技术升级之路》 读后感

NW:  

    OLAP引擎、长迭代、mpp、 Presto

 

数据量增大可能带来的问题：

1. 存储问题，数据的暴涨导现有系统无法承载
2. 查询性能，大量数据的查询导致，所需的时间大大增加，以致于无法忍受。
3. 在变更相关数据报表时，对历史数据的处理，需要耗费大量的时间。导致每次迭代开发，需要耗费较长的时间。

 

一般情况下，数据仓库 和 OLAP分析库是需要拆分的？ 适用于存储数据的方案，可能并不适用于分析。

 

BI工具需要解决的问题：

1. 灵活性：数据发布后，用户可以进行先相关处理。而不是只能看，不能做。
2. 门槛低：学习成本低，用户使用工具处理时，必须要能够快速的入手
3. 开发周期短

 

OLAP计算引擎选择条件：

1. 没有预计算的模型
2. 速度要足够快
3. 支持横向扩展

 

 

OLAP经过多次的升级，每次升级都是围绕着某1-2两个点的重点改进。每次改进都会强化数仓的能力，但是数仓的强化就会加大用户的使用，更多的使用将会暴露更多的问题。

 

唯品会OLAP的优化历程：