代码改变世界

B-树与Sqlite数据库

2013-03-23 11:36 onm 阅读(...) 评论(...) 编辑 收藏
B-树和数据库还是春节前研究的,现在回想起来,很多细节都要耐心的细想。还好有若干索引,所以说索引真的是个好东西~ B-树是一种常用的索引数据结构,B-树不是二叉树,比二叉树要复杂一些。中文维基百科上是这样写的: “在计算机科学中,B树是,存储排序数据并允许以O(log n)的运行时间进行查找,顺序读取,插入和删除的数据结构。B树,概括来说是一个节点可以拥有多于2个子节点的二叉查找树。与自平衡二叉查找树不同,B-树为系统最优化大块数据的读和写操作。B-tree算法减少定位记录时所经历的中间过程,从而加快存取速度。普遍运用在数据库和文件系统。” B-树有一个变形是B+树,数据库索引用到更多的是B+树。关于B-树和B+树的具体定义和查找,插入,删除等操作,可以参阅相关的书籍或者文章。查询是B-树的目的,插入,删除操作都是要保持B-树的性质。 之前花了一些时间,写了一个B-树的实现,网上没有找到什么好的实现,所以自己写了一个,也加深了对B-树的理解。实现的很丑陋,代码在:https://gist.github.com/5226953 数据库为什么要用到B-树呢? 我们都知道数据库查询是数据库使用的主要场景,查询效率是数据库性能指标的一个重要因素。查询的话,最基本的方法是循序遍历,当数据量很大的时候,这样效率当然很慢。再者是二分搜索,虽然时间复杂度变成O(logn),但是这样要求数据有序。另一方面,查询的条件可能很复杂,使用传统的方法效率会更加低效。使用索引可以加快检索的过程,索引就是把关键码与对应数据的位置相关联的过程。检索的过程,由直接检索数据,变成检索索引,然后定位数据,这样设计好索引就会大大加快检索的过程。 索引也有好多种,为什么数据库要用B-树及其变体B+树呢? 这个和磁盘的访问有关,我们知道,数据库存储的数据文件是在磁盘上的,而且数据量很大,一般相关的索引也会很大,所以索引也是存在磁盘上的。我们都知道访问磁盘比访问内存速度相差非常多,所以磁盘IO的性能就不能不考虑了。B-树正是满足了减少磁盘IO次数的需求。这里提到的磁盘是指传统的机械磁盘。 数据库设计存储索引的时候,会按页存储,读取索引的时候,会一次读取几页,由于磁盘也是在读取的时候会预读,每次读取都是按磁盘扇区大小来读取到内存中的。这样数据库读书数据的时候就会更有效。另外,B-树比其他树的有点在于树高会矮很多,因为B-树在每节点都可以有很多元素,这样随着树深的增加,下一层子节点的数量成指数级别增长。所以树高会较其它树小,这样在检索的时候,为了找到元素,从树根找到叶子节点就会减少很多访问外存的次数。另外B+树只在叶子节点存储实际键值,虽然增加了深度,但是增加了插入、删除的复杂度,切B+树由于所有键值都在叶子节点,所以对范围查询支持更好。 关于B+树在外存访存的分析上《MySQL索引背后的数据结构及算法原理》这篇文章写的很好,强烈推荐看看一看。 B-树具体到文件中是怎么存储的呢? 我们知道了,数据库索引使用的B-树,但是到底数据库是怎么实现的呢?为此,我研究了Sqlite数据库。这个号称最简单的数据库,在我看来也是极其的复杂的,我抽取了几部分作为研究。主要看了Sqlite的文件存储格式。 Sqlite是采用单文件存储的数据库(为了事务,异常恢复等会有多余的日志文件)。文件的格式设计官方有个文档:http://www.sqlite.org/fileformat.html。 这个文档详细说明了sqlite数据库文件的存储格式,包括文件头规定,Page页的设计(包括表内部页、表叶子页、索引内部页、索引叶子页),Page页的头规定,Cell单元Payload的设计等等。 国人有个分析的文档,写的很详细:http://vdisk.weibo.com/s/r1VK3,可以参阅。 这些东西展开说,都要费些时间,花些脑筋,就不写了。我模拟Sqlite的文件格式写了一个简化的数据库引擎的部分,之前写的,还没有完成,实际写起来还是很是费劲的,文件的读写操作就很麻烦,比操作内存要麻烦很多。 最后,再重新推荐一下这两篇文章: MySQL索引背后的数据结构及算法原理 SQLite文件格式分析 还有一本书: 数据库系统实现