Mongodb和KT的双机房灾备配置方案尝试

假设有2个机房(测试服务器2/3以及123/124)互为灾备(灾备机房在主机房对外服务时处于待命),应用都只连接自己机房的存储服务(mongodb1.6.5和kt 0.9.28),两个机房之间的存储服务需要相互同步,尝试方案如下:

编号

机器IP和端口

服务

备注

1

192.168.2.2:10000

主机房Mongodb masterA

和8双向同步

2

192.168.2.2:20000

主机房Mongodb replica set1

2,5,9,12是数据节点,7,14是鉴证节点

3

192.168.2.2:30000

主机房Kt node1

和10双向同步

4

192.168.2.3:10000

主机房Mongodb slaveA

从1,8复制数据

5

192.168.2.3:20000

主机房Mongodb replica set2

2,5,9,12是数据节点,7,14是鉴证节点

6

192.168.2.3:30000

主机房Kt node2

和13双向同步

7

192.168.2.3:40000

主机房Mongodb replica arb1

鉴证服务器1

8

192.168.2.123:10000

灾备机房Mongodb masterB

和1双向同步

9

192.168.2.123:20000

灾备机房Mongodb replica set3

2,5,9,12是数据节点,7,14是鉴证节点

10

192.168.2.123:30000

灾备机房Kt node1

和3双向同步

11

192.168.2.124:10000

灾备机房Mongodb slaveB

从1,8复制数据

12

192.168.2.124:20000

灾备机房Mongodb replica set4

2,5,9,12是数据节点,7,14是鉴证节点

13

192.168.2.124:30000

灾备机房Kt node2

和6双向同步

14

192.168.2.124:40000

灾备机房Mongodb replica arb2

鉴证服务器2

此套配置特点如下:

1 Mongodb Master / Slave 结构数据保存4份

2 Mongodb Replica Sets 结构数据保存4份

3 KT2个节点,每一个节点数据保存2份(如果把KT像memcached那样使用,在客户端hash key到不同节点的话,需要客户端支持对于不同的服务器IP可以使用相同的hash,也就是不以endpoint作为hash的值,在故障转移之后保持相同key存和取相同的节点,这仅是客户端的逻辑,对于服务端来只需要考虑一组节点之间的同步)

4 切换到灾备机房之后,不需要做任何配置改动,主机房起来之后,需要确定Replica Set的活动服务器在灾备机房,否则可能会存在灾备机房的应用还是在访问主机房的存储服务

说明:

1 之所以除了4个replica set还需要两个鉴证节点是因为经测试如果同一机房两个replica set快速关闭的话,不能正确选举master,如果不需要保证同一机房数据备份的话,可以考虑只用两个数据节点

2 经测试发现如果11不订阅1,只能接受8的数据改动,1的数据改动不会过来,这也是Mongodb的一个缺陷吧,不能级联复制,如果订阅1,那么会在专线中产生两份带宽

 

具体配置如下

192.168.2.2

mongodb 端口 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --master --slave --source 192.168.2.123:10000 --slavedelay 10 --autoresync

mongodb relica set 1 端口 20000/21000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node1 端口 30000/31000

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 1 -mhost 192.168.2.123 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch

192.168.2.3

mongodb 端口 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend –slave --slavedelay 2 --autoresync

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 10000

use local

db.sources.insert({"host":"192.168.2.2:10000"});

db.sources.insert({"host":"192.168.2.123:10000"});

mongodb relica set 2 端口 20000/21000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 40000 --dbpath /opt/mongodb/40000 --logpath /opt/mongodb/40000/log --replSet blub --rest --oplogSize 1 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node2 端口 30000/31000

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 1 -mhost 192.168.2.124 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch

192.168.2.123

mongodb 端口 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --master --slave --source 192.168.2.2:10000 --slavedelay 10 --autoresync

mongodb relica set 3 端口 20000/21000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node1 端口 30000/31000

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 2 -mhost 192.168.2.2 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch

192.168.2.124

mongodb 端口 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --slave --slavedelay 2 --autoresync

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 10000

use local

db.sources.insert({"host":"192.168.2.123:10000"});

db.sources.insert({"host":"192.168.2.2:10000"});

mongodb relica set 4

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 --logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 40000 --dbpath /opt/mongodb/40000 --logpath /opt/mongodb/40000/log --replSet blub --rest --oplogSize 1 --logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node2 端口 30000/31000 (和192.168.2.4:30000同步)

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 2 -mhost 192.168.2.3 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" dmn /opt/kt/30000.kch

posted @ 2011-01-31 12:39 lovecindywang 阅读(...) 评论(...) 编辑 收藏