列式数据库 行式数据库

列式数据库:数据以列的方式存储,是伴随着数据仓库应用,而逐渐诞生的数据库。如:GreenPlum, HP vertica, IBM nettzza.

行式数据库:数据以行的方式存储,操作型数据库,适合OLTP处理。像oracle,mysql,SQL server。

student_id student_name course_name score
2005341118 韩梅梅 政治 100
2005341128 李磊 语文 100
2005341129 马云 高等数学 100

数据存储特点:

列式数据库:每列数据得值串起来存储,每一列数据单独存放。例如:2005341118,2005341129,2005341129;韩梅梅,李磊,马云……

行式数据库:每行数据串起来存储,每一行数据单独存放。例如:2005341118,韩梅梅,政治,100;2005341128,李磊,语文,100;2005341129,马云,高等数学,100

这里 举例的数据记录只有3条,实际应用中,记录数 上百万 千万,甚至上亿的数据,数据在硬盘里,都是存储在连续的block中。

列式数据库优点:

  • 装载速度快,最高等同于磁盘的IO总和。
  • 每一列数据单独存放,数据即是索引,查询效率高。
  • 适合大量数据
  • 每一列数据类型一直,便于压缩,极高的压缩比,节省计算内存和CPU
  • 非常适合聚合操作
  • 适合数据仓库(分析型数据库)

缺点:

  • 不适合扫描小量数据
  • 不适合随机的更新,删除,插入的实时操作

常见误区

一个常见的误区认为如果每次扫描较多行或者全列全表扫描的时候,行式数据库比列式数据库更有优势。事实上这只是行式数据库认识上的一个误区,即认为列式数据库的主要优势在于其列分开储存,而忽略了列式数据库上面提到的其他几大特征,这个才是列式数据库高性能的核心。


列式数据库的几大特点

1.高效的储存空间利用率

传统的行式数据库由于每个列的长度不一,为了预防更新的时候不至于出现一行数据跳到另一个block上去,所以往往会预留一些空间。而面向列的数据库由于一开始就完全为分析而存在,不需要考虑少量的更新问题,所以数据完全是密集储存的。

行式数据库为了表明行的id 往往会有一个伪列rowid 的存在。列式数据库一般不会保存rowid。

列式数据库由于其针对不同列的数据特征而发明的不同算法使其往往有比行式数据库高的多的压缩率,普通的行式数据库一般压缩率在3:1 到5:1 左右,而列式数据库的压缩率一般在8:1到30:1 左右。(InfoBright在特别应用可以达到40:1,Vertica在特别应用可以达到60:1 ,一般是这么高的压缩率都是网络流量相关的)

列式数据库由于其特殊的IO模型所以其数据执行引擎一般不需要索引来完成大量的数据过滤任务(Sybase IQ 除外)。这又额外的减少了数据储存的空间消耗。

列式数据库不需要物化视图,行式数据库为了减少IO 一般会有两种物化视图,常用列的不聚合物化视图和聚合的物化视图。列式数据库本身列是分散储存所以不需要第一种,而由于其他特性使其极为适合做普通聚合操作。(另外一种物化视图是不能实时刷新的,比如排名函数,不规则连接connect by 等等,这部分列数据库不包括。)

2.不可见索引

列式数据库由于其数据的每一列都按照选择性进行排序,所以并不需要行式数据库里面的索引来减少IO和更快的查找值的分布情况。如下图所示: 当数据库执行引擎进行where条件过滤的时候。只要它发现任何一列的数据不满足特定条件,整个block 的数据就都被丢弃。最后初步的过滤只会扫描可能满足条件的数据块。

另外在已经读取了可能的数据块之后,对于类似age<65或job=‘Axx’的,列式数据库并不需要扫描完整个block,因为数据已经排序了。如果读到第一个age=66 或者 Job = ‘Bxx’ 的时候就会停止扫描了。这相当与行式数据库索引里的范围扫描。

3.数据迭代 (Tuple Iteration)

现在的多核CPU 提供的L2缓存在短时间执行同一个函数很多次的时候能更好的利用CPU的二级缓存和多核并发的特性。而行式数据库由于其数据混在一起没法对一个数组进行同一个简单函数的调用,所以其执行效率没有列式数据库高。

4.压缩算法

列式数据库由于其每一列都是分开储存的。所以很容易针对每一列的特征运用不同的压缩算法。常见的列式数据库压缩算法有Run Length Encoding , Data Dictionary , Delta Compression , BitMap Index , LZO , Null Compression 等等。根据不同的特征进行的压缩效率从10W:1 到10:1 不等。而且数据越大其压缩效率的提升越为明显。

5.延迟物化

列式数据库由于其特殊的执行引擎,在数据中间过程运算的时候一般不需要解压数据而是以指针代替运算,直到最后需要输出完整的数据时。

1

传统的行式数据库运算,在运算的一开始就解压缩所有数据,然后执行后面的过滤,投影,连接,聚合操作而列式数据库的执行计划却是这样的。

2


在整个计算过程中,无论过滤,投影,连接,聚合操作,列式数据库都不解压数据直到最后数据才还原原始数据值。这样做的好处有减少CPU 消耗,减少内存消耗,减少网络传输消耗,减少最后储存的需要。

posted on 2018-03-23 23:48  akan957  阅读(1158)  评论(0编辑  收藏  举报