MongoDB在1.6版本中提供分片和复本集技术使得MongoDB真正具备了生产环境部署的能力。
分片--Sharding

1. MongoDB集群的构成
MongoDB集群主要有以下服务组成
A.分片服务(Shard Server),mongod 实例,2个以上,负责存储实际的数据分片,生产环境中一个Shard Server可由几台服务器组成一个Replica Set代替,避免主机单点故障。
B.配置服务(Config Server),mongod 实例,1个以上,负责存储整个集群的元数据。
C.路由服务(Routing Process),mongos实例,1个以上,客户端由此前端路由接入,且让整个集群看起来像单一数据库,客户端应用可以透明使用,Routing Process不存储数据,数据来自Config Server。
2. 分片机制
A.Shard Keys:MongoDB主要根据Shard Keys来划分数据,Shard Keys可以由文档的一个或者多个物理键值组成。
B.Chunks:Chunk是一组数据集合,在MongoDB中,Chunk表示为collection,minKey,maxKey构成的三元组,一个Chunk包括了Shard Key取值在minKey和maxKey之间一组文档集合,但Chunk并不存放实际数据。整个MongoDB的chunk元信息存放在config数据库的chunks Colecttion中。
C.AutoSplit和MoveChunk: 当Chunk的大小达到ChunkSize(默认为200MB,在mongos启动时可以设置)时,MongoDB会根据minKey和maxKey的一个中间值将一个Chunk分裂(Split)为两个Chunk,分裂完毕后,MongoDB会根据各个Shard的负载情况,决定是否将新Chunk移动到其他Shard(MoveChunk)。
3. 配置
以单机配置2个Shard,1个Config,1个Mongos为例
A. 启动Shard Server
分片1
./bin/mongod --shardsvr --port 27017 --dbpath ./data/shard1 --oplogSize 10000 --logpath ./data/shard1.log --logappend --fork
分片2
./bin/mongod --shardsvr --port 27018 --dbpath ./data/shard2 --oplogSize 10000 --logpath ./data/shard1.log --logappend --fork
其中 shardsvr选项表示以分片方式启动mongod。
port指明mongod的服务端口。
dbpath指明mongod的数据存放位置。
oplogSize指明mongod的oplog collection大小,单位为MB,mongodb的每次操作都会先写入oplog,再实际操作,且在replica set模式中,该日志用于各个服务器间的同步,网速较慢时应该适当放大。
logpath指明mongod输出日志的位置
logappend指明日志以追加方式输出
fork指明mongod以后台服务形式启动
B. 启动Config Server
./bin/mongod –configsvr –dbpath ./data/config –port 20000 --logpath ./data/config.log --logappend –fork
Config Server实际上也是个mongo数据库,除了使用configsvr选项表示Config身份,其余跟Shard Server雷同
C. 启动Routing Process
./bin/mongos –configdb localhost:20000 --port 30000 --logpath ./data/mongos.log --logappend --fork
启动mongos,最主要的是要指定Config Server的位置
D. 配置分片
./bin/mongo localhost:30000
用mongo客户端连接mongos
> use admin;
切换到admin数据库
> db.runCommand( { addshard :"[ip]:27017",name:"s1"} );
> db.runCommand( { addshard :"[ip]:27018",name:"s2"} );
添加shard,[ip]为Shard Server的ip地址.(建议使用ip地址配置,使用hostname在某些情况下会有错误导致mongod进程挂掉)。Name指明分片的名称,可以随意配置。
> db.runCommand({ enablesharding :"dbname"} );
配置数据库允许分片
> db.runCommand( { shardcollection : "dbname.colname",key : {keyname:1} });
配置collection的shard key
E. 常用命令
>use admin;
>db.printSharingStatus();
可以查看整个集群的分片情况
>use dbname;
>db.colname.stats();
可以查看某个具体Collection的分片情况


复本集--Replica Set

1. 复本集(Replica Set)介绍
Replica Set是伴随着MongoDB分片技术产生的,Relpica Set是MongoDB在Shard环境中使用的复制技术。一组Replica Set支持1到7台服务器,在一个复本集中各个服务器数据保持完全一致。通过Relpica Set,MongoDB实现了自动错误处理和自动错误恢复。
在一个Replica Set中各个服务器有以下几种状态
A. Primary 主节点,一个复本集有且仅有一台服务器处于Primary状态,只有主节点才对外提供读写服务。如果主节点挂掉,复本集将会投票选出一个备用节点成为新的主节点。
B. Secondary 备用节点,允许有多台Secondary,每个备用节点的数据与主节点的数据是完全同步的。
C. Recovering 恢复中,当复本集中某台服务器挂掉或者掉线后数据无法同步,重新恢复服务后从其他成员复制数据,这时就处于恢复过程,数据同步后,该节点又回到备用状态。
D. Arbiter 仲裁节点,该类节点可以不用单独存在,如果配置为仲裁节点,就主要负责在复本集中监控其他节点状态,投票选出主节点已经恢复数据。该节点将不会用于存放数据。如果没有仲裁节点,那么投票工作将由所有节点共同进行。
E. Down 无效节点,当服务器挂掉或掉线时就会处于该状态。

2. 配置
以单机配置2个节点的复本集为例
A. 启动mongod
./bin/mongod --replSet setname --port 27017 --dbpath ./data/shard1 --oplogSize 10000 --logpath ./data/set1.log --logappend –fork
./bin/mongod --replSet setname --port 27018 --dbpath ./data/shard1 --oplogSize 10000 --logpath ./data/set2.log --logappend –fork
其中replSet指明复本集的名称
B. 初始化复本集
./bin/mongo localhost:27017
用mongo连接复本集中任意一台机器
>use admin;
>config = {
_id: 'setname',
members: [
{_id: 0, host: '[ip]:27017'},
{_id: 1, host: '[ip]:27018'}
]
};
>rs.initiate(config);
主要用一个config对象初始化复本集。
其中_id: 'setname'表示复本集的名字,应与启动时设置的名字一致。
Members指明了复本集中各个服务器的ip和端口。
到此就配置完毕。
C. 常用命令
>use admin;
>rs.status();
查看复本集的状态。
>rs.add("[ip]:27020");
运行中添加新成员。
D. 分片中的复本集配置
可以为一个分片配置一组复本集,配置方式为增加--replSet setname选项
例如:
./bin/mongod –shardsvr –replSet shard1 –port 27019 --dbpath ./data/shard3$HOSTID --oplogSize 10000 –logpath ./data/shard3$HOSTID.log --logappend –fork
一组复本集的机器都启动后,用mongo登录到某台机器上初始化复本集,注意不是登录到mongos中。
添加分片时应使用如下命令
>db.runCommand( { addshard :"shard1/[ip1]:[port1], [ip2]:[port2]",name:"s1"} );
注意使用<replica setname>/<ip>:<port>,<ip>:<port>添加分片。