MongoDB内部结构

一、前言

本文主要讲述MongoDB使用的数据类型BSON,使用的传输协议Mongo Wire Protocol,MongoDB数据文件的内部结构。

二、BSON

BSON [bee · sahn], short for Bin­ary JSON, is a bin­ary-en­coded seri­al­iz­a­tion of JSON-like doc­u­ments.

JSON相信大家都很熟悉,官网上用一个页面,几百字就把JSON的规则讲清楚了,JSON只包括六种数据类型:null,对象,布尔,数字,字符串以及数组。而BSON支持更多的数据类型,比如日期类型等。

       BSON官网的一个例子{"hello": "world"},分析BSON的存储结构如下:

TotalSize(4)| { BSONType(1)| FieldName | Data } * EOO(1)

TotalSize:Document转换为BSON后的总长度,4个字节表示

BSONType:Data的数据类型,占一个字节

FieldName:字段名,例子中的hello,key/value的"key",UTF-8字符串,字符串都有一个结束符'\0'

Data:key/value的value,例子中的"world",如果是字符串则在Data前需要另加四个字节存储Data的长度,如果是其他格式可以参考官网规范

*:key/value的对数,比如{"hello":"world", "hello1":"world1"},有两对

EOO:结束符,\x00

分析例子{"hello":"world"}的长度:

TotalSize(4) + BSONType(1) + FieldName(5+1) + Data(4 + 5 + 1) + EOO(1) = 22 字节

进入Mongo Shell可以通过Object.bsonsize 查看bson大小。

QQ截图20120708174805

而且在http://bsonspec.org/#/specification的example中也可以看到BSON的前四个字节为\x16\x00\x00\x00,十进制正好是22。

     BSON牺牲一些空间来换取更容易遍历的格式,不用每次都检查是否等于'\0',可遍历性是BSON非常重要的性质。

三、 Mongo Wire Protocol

Mongo Wire Protocol 与 http, ftp都属于应用层协议,只不过该协议目前只是应用于MongoDB 的相关应用中。每个Mongo Wire Protocol 消息都是由标准消息头部和具体的请求数据组成。

标准消息头部格式如下:

QQ截图20120708204706

而具体的请求,比如修改集合

QQ截图20120708204750

具体可以参考http://www.mongodb.org/display/DOCS/Mongo+Wire+Protocol

四、 MongoDB数据文件的内部结构

QQ截图20120709095852

每个数据库都有一个.ns文件和若干个数据文件组成(.0,.1,.2,.....),其中.ns文件为16M,而.0文件16M,.1文件32M,往后则翻倍,最大值为2G,这样可以让小数据库不浪费太多的空间,大数据库能够使用磁盘上连续的空间。

数据库里面的每个集合和索引都对应着命名空间。

QQ截图20120709100645

这是local数据库中的命名空间,可以看到集合,固定集合(capped collection),索引都有自己的命名空间。

.ns文件记录着若干个集合命名空间和索引命名空间。

一个集合命名空间又有多个数据域(extent),集合命名空间里存储着集合的元数据,比如集合名称,集合的第一个数据域和最后一个数据域的位置等等。而一个数据域由若干条文档(document)组成,每个数据域都有一个头部,记录着第一条文档和最后一条文档的为知,以及该数据域的一些元数据。extent之间,document之间通过双向链表连接。

索引的存储数据结构是B树,索引命名空间存储着对B树的根节点的指针。MongoDB数据内部结构图如下(图片来自NoSQLFan)

O6EzR

posted @ 2012-07-09 14:17  zabery  阅读(6853)  评论(0编辑  收藏  举报