MongoDB笔记
-
安装配置
Windows安装：
Mongo数据模型
|
01 |
一个Mongo系统（参考上述部署）包含一组数据库 |
|
|
02 |
一个 database 包含一组collection |
|
|
03 |
一个 collection 包含一组document |
|
|
04 |
一个 document 是一组field |
|
|
05 |
一个 field 是一对key-value |
|
|
06 |
一个 key 是一个名字（字符串） |
|
|
07 |
一个 value 可以是一个 |
|
|
08 |
基本类型，如字符串，整数，浮点数，时间戳，二进制等等 |
|
|
09 |
document |
|
|
10 |
value的数组 |
|
1、下载 MongoDB
MongoDB官网下载地址：http://www.mongodb.org/downloads 我下载的是Nightly（latest & stable）
2、在C盘新建目录mongoDB，并把刚才下的Zip包中的bin解压到新建的mongoDB 中。
|
1 |
mkdir c:\mongodb |
|
|
2 |
mkdir c:\mongodb\bin |
|
bin下的文件列表如下
|
01 |
c:\mongoDB\bin 的目录 |
|
|
02 |
|
|
|
03 |
2011/09/06 14:26 <DIR> . |
|
|
04 |
2011/09/06 14:26 <DIR> .. |
|
|
05 |
2011/08/31 02:06 4,692,480 bsondump.exe |
|
|
06 |
2011/08/31 02:09 2,347,008 mongo.exe |
|
|
07 |
2011/08/31 02:14 5,054,464 mongod.exe |
|
|
08 |
2011/08/31 02:17 4,709,888 mongodump.exe |
|
|
09 |
2011/08/31 02:19 4,696,576 mongoexport.exe |
|
|
10 |
2011/08/31 02:22 4,714,496 mongofiles.exe |
|
|
11 |
2011/08/31 02:24 4,734,464 mongoimport.exe |
|
|
12 |
2011/08/31 02:27 4,705,792 mongorestore.exe |
|
|
13 |
2011/08/31 02:29 3,448,832 mongos.exe |
|
|
14 |
2011/08/31 02:31 4,774,400 mongostat.exe |
|
3、在c:\mongodb下新建文件夹data
|
1 |
mkdir c:\mongodb\data |
4、启动mongodb
|
01 |
c:\mongoDB\bin>mongod -dbpath c:\mongodb\data |
|
|
02 |
Tue Sep 06 16:02:06 [initandlisten] MongoDB starting : pid=452 port=27017 dbpath |
|
|
03 |
=c:\mongodb\data 64-bit |
|
|
04 |
Tue Sep 06 16:02:06 [initandlisten] db version v1.8.4-pre-, pdfile version 4.5 |
|
|
05 |
Tue Sep 06 16:02:06 [initandlisten] git version: f3bd113e0df642703fda8cc9fe7f6cd |
|
|
06 |
f6503e5e8 |
|
|
07 |
Tue Sep 06 16:02:06 [initandlisten] build sys info: windows (6, 1, 7601, 2, 'Ser |
|
|
08 |
vice Pack 1') BOOST_LIB_VERSION=1_42 |
|
|
09 |
Tue Sep 06 16:02:06 [initandlisten] waiting for connections on port 27017 |
|
10 |
Tue Sep 06 16:02:06 [websvr] web admin interface listening on port 28017 |
嗯 MongoDB已经起了。
Linux安装：
先去MongoDB的官方下载http://www.mongodb.org/downloads，我这里下的是LINUX 32－BIT 1.8.2的版本。
下完文件名为mongodb-linux-i686-1.8.2.tgz
解压 tar xzvf mongodb-linux-i686-1.8.2.tgz
得到文件夹mongodb-linux-i686-1.8.2，把这个文件移动到$HOME目录下，然后设置PATH
不知道HOME目录是什么就在Terminal里 echo $HOME你就知道了
在$HOME目录下建个.bashrc文件，写入如下配置
export MONGODB_HOME=/home/castiel/mongodb-linux-i686-1.8.2
export PATH=$MONGODB_HOME/bin:$PATH
好了，现在再建个目录作为保存我们数据库的地方
我还是建在$HOME目录下，名字叫mongodatabase
现在我们启动Mongodb的服务，在Terminal里输入
mongod -dbpath /home/castiel/mongodatabse
后面的参数指定了我们刚新建的文件夹作为存放数据库的地方
现在服务应该跑起来了，再开个Terminal,输入mongo,就进入mongodb的shell交互界面
如果到此一切成功，那么基础环境就算是搞定了。
-
使用介绍
Mongodb中有document,collection,database
关系为database里有多个collection,每个collection里有多个document
document就是以key-value的形式存放的,value也可以是document
在shell里，db代表当前所使用的数据库，
|
1 |
show dbs ＃显示所有数据库 |
|
|
2 |
db.version() ＃显示Mongodb的版本号 |
|
以下"collection"代表任意collection
db.collection.update ＃mongodb的update是atomic，假如有两个人同时update同一个数据，两个都会生效，数据的状态是最后update的状态（last update win）
db.collection.remove #不加参数则全部删除，但保留index
|
1 |
x = db.collection.findOne() |
|
|
2 |
x.num = 42 |
|
|
3 |
db.collection.save(x) #shell中一种比用update来更新的更好办法 |
db.drop_collection("name_of_collection") ＃彻底删除
db.collection.insert() #插入document
update里用的modifier
$set #用来设置一个document，如不存在则创建该document
|
1 |
{"$set" : {"author.name" : "joe schmoe"}} |
$unset #用来删除一个document
$inc #用来增加一个document的value部分，value必需是数字。如不存在则创建该document
|
1 |
{"$inc" : {"score" : 10000}} |
$push ＃用来向一个document的value部分，以数组的方式
|
1 |
{$push : {"comments" :{"name" : "joe", "email" : "joe@example.com", "content" : "nice post."}} |
$ne #与$push配合使用，不存在存会添加，存在就不会添加
|
1 |
{"authors cited" : {"$ne" : "Richie"}}, {$push : {"authors cited" : "Richie"}} |
$addToSet ＃同上，但是是单独使用的.有的时候你不确定某个document到底存不存在，用这个就不会造成数据的重复
|
1 |
{"$addToSet" : {"emails" : "joe@hotmail.com"}} |
$each ＃与$addToSet配合使用，添加数组
|
1 |
{"$addToSet" :{"emails" : {"$each" : ["joe@php.net","joe@example.com","joe@python.org"]}} |
$pop ＃像栈一样删除，随便从哪头开始
|
1 |
{$pop : {key : 1}} |
|
|
2 |
{$pop : {key : －1}} |
|
$pull #根据所给的KEY删除指定的document,假如有多个KEY匹配，则删除多个document
|
1 |
{"$pull" : {"todo" : "laundry"}} |
假如有下面这样的一个docment
|
01 |
{ |
|
|
02 |
"_id" : ObjectId("4b329a216cc613d5ee930192"), |
|
|
03 |
"content" : "...", |
|
|
04 |
"comments" : [ |
|
|
05 |
{ |
|
|
06 |
"comment" : "good post", |
|
|
07 |
"author" : "John", |
|
|
08 |
"votes" : 0 |
|
|
09 |
}, |
|
|
10 |
{ |
|
|
11 |
"comment" : "i thought it was too short", |
|
|
12 |
"author" : "Claire", |
|
|
13 |
"votes" : 3 |
|
|
14 |
}, |
|
|
15 |
{ |
|
|
16 |
"comment" : "free watches", |
|
|
17 |
"author" : "Alice", |
|
|
18 |
"votes" : -1 |
|
|
19 |
}] |
|
|
20 |
} |
|
我们现在想要更新第一个名为good post的comments的votes,可以这样做
|
1 |
db.blog.update({"post" : post_id}, {"$inc" : {"comments.0.votes" : 1}}) ＃看见没，可以像操作数组一样，多方便啊 |
现在我们来把这个comment的author由John改成Jim，但如果这个时候我不知道John是在数组里的第几个，即我不知道index，这个时候可以用$,即原来用index的地主改成$,就像下面这样
|
1 |
db.blog.update({"comments.author" : "John"},{"$set" : {"comments.$.author" : "Jim"}}) |
update还有另一种形式，就是其第三个参数设置为true，使之成为一个upsert
|
1 |
db.analytics.update({"url" : "/blog"}, {"$inc" : {"visits" : 1}}, true) |
上面的update包含了两个意思，以{url : "/blog"}进行查询，成功找到就更新，没有找到就创建
这样我们就不用自己写代码来判断存在或是不存在的情况了
update默认情况下只会更新第一个匹配的到的数据，如果要更新所有都匹配的数据，只要把它的第四个参数也设置为true就行
用findAndModify可以解决多线程争用问题，不知道这词用的对不对，反正自己明白就好了
用在update上
|
1 |
ps = db.runCommand({"findAndModify" : "processes", |
|
|
2 |
"query" : {"status" : "READY"}, |
|
|
3 |
"sort" : {"priority" : -1}, |
|
4 |
"update" : {"$set" : {"status" : "RUNNING"}}).value |
|
5 |
do_something(ps) |
|
|
6 |
db.process.update({"_id" : ps._id}, {"$set" : {"status" : "DONE"}}) |
|
可以用在remove上
|
1 |
ps = db.runCommand({"findAndModify" : "processes", |
|
|
2 |
"query" : {"status" : "READY"}, |
|
|
3 |
"sort" : {"priority" : -1}, |
|
|
4 |
"remove" : true).value |
|
|
5 |
do_something(ps) |
对于，这三种操作:insert,remove,update，这三种速度都很快，因为他们都是fire-and-forget类型的操作，即不用等待服务器作出response,就马上可以进行下一步操作。
那也许你就会问，我都不能确定服务器收到了我的数据，那怎么办，其实是有办法的，现在我还没有看到而已。
|
1 |
db.users.find({}, {"username" : 1, "email" : 1}) |
上面代码的意思是找到USERS里所有的数据里的username和email这两种KEY所对应的数据。
USERS里可能还有其它的key比如:gender,address什么的，但某些情况下我们只需要其中的一部分。
每次用find或是findOne的时候，它总是会返回_id这个key-value，不想让它返回这个怎么办，这样做
|
1 |
db.users.find({}, {"username" : 1, "_id" : 0}) ＃这时候就只会返回username了,不会返回_id了 |
"$lt", "$lte", "$gt", "$gte" 这四个分别代表 <, <=,>, >=，它们是用来设置查询范围的，比如
|
1 |
db.users.find({"age" : {"$gte" : 18, "$lte" : 30}}) #找出年龄在18<=age<=30之间的user |
$ne在这里的用法，即是不等于的意思
|
1 |
db.users.find({"username" : {"$ne" : "joe"}}) ＃找出所有名字不是JOE的user |
$in，后接个数组，表范围
|
1 |
db.raffle.find({"ticket_no" : {"$in" : [725, 542, 390]}}) #找出ticket_no为725或542或390的 |
数组里的数据类型可是不一样的
|
1 |
db.users.find({"user_id" : {"$in" : [12345, "joe"]}) ＃找出user_id等于12345或是joe的人 |
与$in相反的就是$uin，用法一样
|
1 |
db.raffle.find({"ticket_no" : {"$nin" : [725, 542, 390]}}) ＃找出ticket_no不是725，542，390的所有人 |
$or，$in或$uin的缺点就是只能用一个KEY作为条件，而是$or则可以多个
|
1 |
db.raffle.find({"$or" : [{"ticket_no" : 725}, {"winner" : true}]}) ＃两个条件满足其一即可 |
可以将$or和$in结合起来一起用
|
1 |
db.raffle.find({"$or" : [{"ticket_no" : {"$in" : [725, 542, 390]}},{"winner" : true}]}) |
$mod,如其名所表达的意思一样，求余数
|
1 |
db.users.find({"id_num" : {"$mod" : [5, 1]}}) #条件为id_num%5=1,满足条件的有1,6,11,16等 |
$not，取反运算
|
1 |
db.users.find({"id_num" : {"$not" : {"$mod" : [5, 1]}}}) ＃条件为id_num%5!=1.满足技术优势的有2，3，4，5，7等 |
$exists，用来确保KEY的存在
|
1 |
db.c.find({"z" : {"$in" : [null], "$exists" : true}}) ＃这样就不会返回例如{y:null}这样KEY不是Z的数据了 |
可以用正则作为value查询值
|
1 |
db.users.find({"name" : /joe/i}) |
|
|
2 |
db.users.find({"name" : /joey?/i}) |
|
$all,即满足所有条件
|
1 |
db.food.find({fruit : {$all : ["apple", "banana"]}}) ＃水果里必须同时有苹果和香蕉 |
$size
|
1 |
db.food.find({"fruit" : {"$size" : 3}}) ＃fruit的size必须是3 |
$slice
|
1 |
db.blog.posts.findOne(criteria, {"comments" : {"$slice" : 10}}) ＃前10条 |
|
2 |
db.blog.posts.findOne(criteria, {"comments" : {"$slice" : -10}}) ＃后10条 |
|
3 |
db.blog.posts.findOne(criteria, {"comments" : {"$slice" : [23, 10]}}) ＃以offset为23开始的10条 |
对于如下数据
|
1 |
{ |
|
|
2 |
"name" : { |
|
|
3 |
"first" : "Joe", |
|
|
4 |
"last" : "Schmoe"}, |
|
|
5 |
"age" : 45 |
|
|
6 |
} |
|
可以这样来find，好处就是如果name里再加了个middle的属性，这条find还是有效的
|
1 |
db.people.find({"name.first" : "Joe", "name.last" : "Schmoe"}) ＃对document里的document操作 |
如果是这样的find就不行了
|
1 |
db.people.find({"name" : {"first" : "Joe", "last" : "Schmoe"}}) ＃如果更改了结构，加了个middle，就不能匹配 |
$elemMatch，用来匹配document里的document的，即embedded document，假设如下数据
|
01 |
{ |
|
|
02 |
"content" : "...", |
|
|
03 |
"comments" : [ |
|
|
04 |
{ |
|
|
05 |
"author" : "joe", |
|
|
06 |
"score" : 3, |
|
|
07 |
"comment" : "nice post" |
|
|
08 |
}, |
|
|
09 |
{ |
|
|
10 |
"author" : "mary", |
|
|
11 |
"score" : 6, |
|
|
12 |
"comment" : "terrible post" |
|
|
13 |
}] |
|
|
14 |
} |
|
现在我们要找出作者是joe，score大于等于5的comment，就可以用$elemMatch
|
1 |
db.blog.find({"comments" : {"$elemMatch" : {"author" : "joe","score" : {"$gte" : 5}}}}) |
$where,用指定的javascript代码来做查询，先插入两条数据
|
1 |
db.foo.insert({"apple" : 1, "banana" : 6, "peach" : 3}) |
|
|
2 |
db.foo.insert({"apple" : 8, "spinach" : 4, "watermelon" : 4}) |
|
然后我们找出其中值相等的的数据，这里就是spinach和watermelon，因为它们的值都是4
|
01 |
db.foo.find({"$where" : function () { |
|
|
02 |
for (var current in this) { |
|
|
03 |
for (var other in this) { |
|
|
04 |
if (current != other && this[current] == this[other]) { |
|
|
05 |
return true; |
|
|
06 |
} |
|
|
07 |
} |
|
|
08 |
} |
|
|
09 |
return false; |
|
|
10 |
}}) |
|
|
11 |
＃如果函数返回真，则这条document就会被作为查询结果返回回来 |
|
|
12 |
＃非特殊情况下还是不要用这种方式来查询，因为效率很低，因为每个document都会通过$where被转成BSON格式， |
|
|
13 |
#交给javasript处理，然后再回到$where语句这里。 |
现在介绍下cursor，先插入100条数据，然后查询
|
1 |
for(i=0; i<100; i++) { |
|
|
2 |
db.c.insert({x : i}); |
|
|
3 |
} |
|
|
4 |
var cursor = db.collection.find() |
|
然后你就可以这样来操作结果集了
|
1 |
while (cursor.hasNext()) { ＃hasNext用来判断还有没有数据 |
|
|
2 |
obj = cursor.next(); ＃next获得一条数据，然后当前的位置加1 |
|
|
3 |
do stuff ＃你要进行的操作 |
|
|
4 |
} |
|
cursor同样也实现的迭代功能，即forEach
|
1 |
var cursor = db.people.find(); |
|
|
2 |
cursor.forEach(function(x) { |
|
|
3 |
print(x.name); |
|
|
4 |
}); |
|
组合用法，例如下面就是分页的一例子
|
1 |
var cursor = db.foo.find().sort({"x" : 1}).limit(1).skip(10); #sort，排序，1为升序，－1为降序 |
|
2 |
var cursor = db.foo.find().limit(1).sort({"x" : 1}).skip(10); ＃limit，限制返回数量 |
|
3 |
var cursor = db.foo.find().skip(10).limit(1).sort({"x" : 1}); ＃skip，偏移量 |
|
4 |
＃以上只是建立好了查询语句，并没有真正向服务器提交查询，只有当调用了hasNext方法，查询才会被提交到服务器， |
|
5 |
＃ 但是服务器并不回一次性将所有的查询结果一次返回，而是根据你调用next，hasNext方法 |
|
|
6 |
＃每调用一次就返回一批数据，直到全部数据都返回 |
|
这里要说明下用skip来分页的方法效率很低，应该用其它给的办法代替，比如说先得到前100条数据，然后用第100条数据里的某一属性做为查询条件，得到剩下的数据，然后再limit（100）。代码如下
|
1 |
var page1 = db.foo.find().sort({"date" : -1}).limit(100) |
|
|
2 |
var latest = null; |
|
|
3 |
while (page1.hasNext()) { |
|
4 |
latest = page1.next(); |
|
5 |
display(latest); |
|
|
6 |
} |
|
|
7 |
// 用第100数据里的date做为查询条件，得到剩下的数据 |
|
|
8 |
var page2 = db.foo.find({"date" : {"$gt" : latest.date}}); |
|
|
9 |
page2.sort({"date" : -1}).limit(100); |
-
管理
索引index，注意不要为每个KEY都加上index，这样虽然查询快，但是插入的话速度就大大降低了
|
01 |
//对people中的username建立索引,多个索引用逗号隔开，1或－1表示建立索引的顺序 |
|
|
02 |
db.people.ensureIndex({"username" : 1}) |
|
|
03 |
//对embedded document建立索引的方式 |
|
|
04 |
db.blog.ensureIndex({"comments.date" : 1}) |
|
|
05 |
//索引名是由mongodb自动建立的，你也可以指定自己想的名字，只需要传入第二个参数 |
|
06 |
db.foo.ensureIndex({"a" : 1, "b" : 1, "c" : 1, ..., "z" : 1}, {"name" : "alphabet"}) |
|
07 |
//unique索引，就像是关系数据库里的主键一样，值是唯一的 |
|
|
08 |
db.people.ensureIndex({"username" : 1}, {"unique" : true}) //现在username的值就是唯一的了 |
|
|
09 |
//dropIndex，用来删除索引的 |
|
|
10 |
db.runCommand({"dropIndexes" : "foo", "index" : "alphabet"}) |
|
|
11 |
//改变索引时，最长加上一个参数，即background：true，正如字面说的那在，在后台进行，不会影响当前活动的任何操作 |
|
12 |
//如果是false的话，那么就会block任何对该collection的操作，直到新的索引建立完成 |
|
13 |
db.people.ensureIndex({"username" : 1}, {"background" : true}) |
其实有的时候根本就不需要索引，例如你每次都要从collection中提取一半以上的数据，这个时候不用index速度更快。
使用sort时，最是对已经建立好了索引的KEY进行sort。
关于建立索引必须思考的几个问题：
弄清楚要查询的东西，为优化查询而建立索引。
建立索引时要搞清楚索引的排序（升还是降）。
你的数据库结构以后会不会拓展？是否要改变现有的索引结构。
|
1 |
//这里多了个dropDups，意思是把重复的username给删掉，这是为了解决防止在建立索引之前就已经存在值重复而用的方法 |
|
2 |
db.people.ensureIndex({"username" : 1}, {"unique" : true, "dropDups" : true} |
|
3 |
//复合索引,就是将两对KEY－VALUE作为索引 |
|
|
4 |
{files_id ：ObjectId("4b23c3ca7525f35f94b60a2d")，n : 1} |
|
explain，可以用来查看mongodb在作查询的一些信息，比如说它用的是哪一个索引
|
1 |
db.c.find({age : {$gt : 10}, username : "sally"}).explain() |
hint，如果你用explain发现mongodb用的索引不是你想用的，你可以强制使用自己想要的那个
|
1 |
db.c.find({"age" : 14, "username" : /.*/}).hint({"username" : 1, "age" : 1}) |
aggregation
|
1 |
db.foo.count() //计算总共有多少条数据 |
|
2 |
db.foo.count({"x" : 1}) //按条件计算 |
|
3 |
db.runCommand({"distinct" : "people", "key" : "age"}) //返回所有age不一样people |
authenticate
|
1 |
use dbname |
|
|
2 |
dbname.addUser("username","pwd") |
|
|
3 |
dbname.addUser("username","pwd",true) //加了true就代表该用户只有只读权限 |
|
|
4 |
//在启动mongodb的时候加上--auth参数就可以启动用户验证 |
|
|
5 |
//删除用户 |
|
|
6 |
use admin |
|
|
7 |
db.system.users.remove("user":"the name of the user you want to remove") |
数据备份和还原
|
01 |
$ ./mongodump -d test -o backup //-d指定要备份的数据库，-o指定保存备份数据库的文件夹 |
|
|
02 |
connected to: 127.0.0.1 |
|
|
03 |
DATABASE: test |
|
|
04 |
to |
|
|
05 |
backup/test |
|
|
06 |
test.x to backup/test/x.bson |
|
|
07 |
1 objects |
|
|
08 |
$ ./mongorestore -d foo --drop backup/test/ // --drop 还原之前先清空数据库 |
|
|
09 |
connected to: 127.0.0.1 |
|
|
10 |
backup/test/x.bson |
|
|
11 |
going into namespace [foo.x] |
|
|
12 |
dropping |
|
|
13 |
1 objects |
fsync,lock
|
1 |
//锁定数据库，使这不能进行任何write，并强制mongodb将所有内存中的数据flush到disk上 |
|
|
2 |
db.runCommand({"fsync" : 1, "lock" : 1}) |
|
|
3 |
//解锁 |
|
|
4 |
db.$cmd.sys.unlock.findOne(） |
|
|
5 |
//测试下是否已经解锁了 |
|
|
6 |
db.currentOp() |
|
修复数据库
|
1 |
//在启动mongodb服务时，加上--repair参数 |
|
|
2 |
mongod --repair |
|
|
3 |
//或是 |
|
|
4 |
use somedb |
|
|
5 |
db.repairDatabase() |
master－slave方式备份
|
01 |
//启动一个master，端口号为10000 |
|
|
02 |
$ mkdir -p ~/dbs/master |
|
|
03 |
$ ./mongod --dbpath ~/dbs/master --port 10000 --master |
|
|
04 |
//启动一个slave，端口号为10001，数据源地址（即master）为localhost:10000 |
|
|
05 |
$ mkdir -p ~/dbs/slave |
|
|
06 |
$ ./mongod --dbpath ~/dbs/slave --port 10001 --slave --source localhost:10000 |
|
|
07 |
|
|
|
08 |
//其它的可选项还有 |
|
|
09 |
--only //设置只对某一个数据库备份，而不是整个文件夹 |
|
|
10 |
--slavedelay //设置备份延迟 |
|
|
11 |
|
|
|
12 |
//可以在启动slave时，不设定它的source |
|
|
13 |
$ ./mongod --slave --dbpath ~/dbs/slave --port 27018 |
|
|
14 |
//而后在shell里指定 |
|
|
15 |
use local |
|
|
16 |
db.sources.insert({"host" : "localhost:27017"}) |
|
|
17 |
//也可以修改 |
|
|
18 |
db.sources.insert({"host" : "prod.example.com:27017"}) //现在的source |
|
|
19 |
db.sources.remove({"host" : "localhost:27017"}) //移除以前的 |
