2 Mongodb CRUD 操作
Mongodb Manual阅读笔记：CH2 Mongodb CRUD 操作
Mongodb Manual阅读笔记：CH3 数据模型(Data Models)
Mongodb Manual阅读笔记：CH4 管理
Mongodb Manual阅读笔记：CH5 安全性
Mongodb Manual阅读笔记：CH6 聚合
Mongodb Manual阅读笔记：CH7 索引
Mongodb Manual阅读笔记：CH8 复制集
Mongodb Manual阅读笔记：CH9 Sharding
mongodb提供了创建，读取，修改，删除简称CRUD
2.1 Mongodb CRUD简介
mongodb存储的文档是和json格式类似的，但是mongodb存储的是BSON也就是，以2进制方式保存JSON格式数据。在mongodb中文档相当于记录，而存文档的Collection相当于表。
2.1.1数据库操作
2.1.1.1查询
Mongodb可以对一个collection通过条件来过滤文档，并且可以用projection选择输出
2.1.1.2数据修改
创建，更新，删除数据，只能修改单个collection（不包含嵌入方式）
2.1.2 相关特性
2.1.2.1索引
Mongodb可以顺序的表示，也可以强制唯一性保存，mongodb中索引也是用b树保存，
2.1.2.2读偏好
读偏好主要是用在复制集群中，从哪个实例中读取。
2.1.2.3写注意（write concern）
不同的写注意保证了不同的数据写入要求，级别越低写入越快，但是写入安全性越低
2.2 Mongodb CRUD概述
读操作：游标，查询优化，分布式查询
写操作：写注意，分布式写操作
2.2.1读操作
查询接口
Mongodb通过提供的接口db.collection.find()方法来查询数据，会返回一个游标
查询行为
1.所有的查询只能针对一个collection
2.可以通过limits，skips，sort来影响查询结果
3.用sort()来范围查询的顺序
4.update修改数据和select的条件语法一样
5.在aggregation（聚合）管道中，$match管道提供了对mongodb的访问
查询语句
Projection
Projection用来限制输出那些字段，_id是默认输出的。
Projection行为
1._id会默认出现，除非显示设置
2.对于包含array的字段，提供了$elemMatch,$slice,$等操作符
3.对于聚合，使用$Project来处理
2.2.1.1游标
mongodb查询db.collection.find()返回一个游标，若没有分配给一个变量直接运行20次
游标行为对于游标默认不活动时间超过10分钟就会被销毁，当然可以指定noTimeout标记，来先限制等待。
游标隔离级别游标在有效期内是不隔离的，若有写入操作就会影响，可以使用快照模式来处理
游标Batch数据从mongodb到客户端是以batch的方式，batch的大小最大不超过最大BSON文档的大小，对于很多查询而言，第一个batch返回101个文档，或者1MB的大小，之后是4MB。
对于包含sort的查询但是没有索引，mongodb会导入到内存然后排序，会在第一个batch的时候返回所有的结果。用cursor.hasnext()和cursor.next()的组合来看有没有下一个batct，获取下一个batch
游标信息通过命令cursorInfo来获取游标的信息：1.打开的游标总数，2.当前使用的客户端游标大小，3.从服务重启来，超时的游标数。
2.2.1.2优化查询
索引和其他数据库中的一样，减少了没必要数据的查询。
创建索引来支持查询使用db.collection.ensureIndex()来创建索引
索引的选择度某些查询操作时选择度很差，比如$nin,$ne，高选择度的才可以更好的使用索引，$regex 也是没有办法使用索引的。
覆盖查询覆盖查询的条件：1.所有的字段都是索引的一部分，2.所有返回的字段也在索引中
2.2.1.3查询计划
Mongodb优化器处理查询，并根据索引选择一个最有效的索引，当collection的数据量被改变优化器会偶尔重建计划，可以使用explain()来查看执行计划。
查询优化
优化器创建计划的过程：1.通过不同的索引，并发的执行查询，2.记录负荷的结果到buffer中，3.当非排序的查询计划全部返回，或者顺序的执行计划全部返回，或者顺序的执行计划返回了超过了一个指标，那么会停止其他执行的计划并选择这个计划
计划重建
当发生以下事件，计划会被重建：1.超过1000个写入，2.重建索引，3.添加或者删除索引，4.服务进程重启
2.2.1.4分布式查询
从Sharded集群中读，Sharded允许数据分区，并对应用程序透明，查询会通过路由到达相关的实例中，通过shard key若没有shard key，查询会分发到索引的shard实例中取执行。
从复制集群中读，在复制集群中使用读偏好，来决定从哪个实例中读取数据，读偏好设置有一下几个好处：1.减少延迟，2.提供读的带宽，3.备份作用，4.容灾切换。同时也要注意，主库和分库之间的延迟，分库不能代表当前主库的数据状态。
2.2.2写操作
和读一样写操作只能用在一个collection上。
创建
通过接口，db.collection.insert()在collection上创建一个文档，若update接口在有upset的标记下，也可以实现创建文档的功能。
插入的行为
如果你插入时，没有指定_id那么mongodb会分配一个，若指定了_id需要保持在collection中是唯一的。
更新
通过接口，db.collection.update()来实现更新操作，也可以用save
更新行为
update默认只对一行进行更新，若要对多行进行更新要使用multi选项，通没有指定类似set的参数，就会把所有影响的文档替换，当更新是，文档的大小超过了原先分配的大小，那么会重新分配空间，然后把文档放入，这样会导致，文档内的字段重排。
删除
删除通过接口，db.collection.delete()实现。
删除的行为
默认使用delete不太条件，会把所以的文档全部删除
写操作的隔离性
修改一个文档，可以支持原子性，但是对多个文档的修改就不支持原子性，尽管如此单还是可以使用隔离操作（isolaation_operator）。也可以通过人工方式实现2阶段提交，来保证隔离性。
2.2.2.1写注意(write concern)
弱写注意，可能会导致一些错误，因为不需要等服务端返回写入成功，强写注意，client可以等待写入完成。db.runCommand( { getLastError: 1, w: 2 } )来配置。
写注意级别：忽略错误（Error Ingored），最低级的级别，mongodb不会通知写入操作完成，包含 发生错误，性能最佳，但是会影响写入数据的一致性和持久性，w:-1
不通知：mongodb不会通知写入成功或者失败，但是当发生错误是，还是会尽力接受和处理错误，可以发现由系统网络配置导致的网络错误。w:0
通知：可以取回一个写入操作信息，这个级别，允许客户端抓取网络，重复key等错误，w:1。mongodb默认使用这个级别，写注意默认使用无参数的getLastError，对于复制集群可以在getLastErrorDefaults中定义默认的写注意，若没有定义默认使用getLastError取通知.
日志：使用这个级别，只有在提交，写入日志后，服务才会通知写入操作，这样可以保证服务崩溃后数据库的恢复。使用这个操作要指定w:1,j:true
复制通知：使用这个级别可以保证，写操作写入到了复制集群，w:>1,在复制集群下，只要再设置j:true，主库就可以用日志写注意级别。
2.2.2.2分布式写
在sharded集群中写：可以根据shard key来对分区插入数据，可以提高写入性能，若没有key，会被广播到所有的shard，若数据库只插入到一个key，那么可能照成单点性能问题。
在复制集中写：在复制集中写入，会被写入到primary上，然后记录在oplog或者log中，然后根据oplog分发到分库中，对于密集的写入操作会导致分库和主库之间严重的延迟，虽然可以通过写注意保证一致性，但是会造成写入性能问题
2.2.2.3写操作性能
索引：和其他数据库一样，写操作会修改索引，会带来一些性能消耗。
文档增长：update 操作文档的空间时，会分配一个新空间，然后把文档复制进去，这样会加大update的时间，in-place比文档增长来的有效。
2.2.2.4存储性能
硬件：很多元素和存储系统有关，影响着服务的性能，如，随机读写性能，磁盘cache，预读，RAID级别。
日志：mongodb使用顺序写方式来记录日志，日志提供了一致性和crash弹性，考虑一下方面来增加日志性能：1.使用独立的设备，2.若写注意级别为日志，mongodb通过减少提交间隔来减少写负荷，3.通过手动配置journalCommitInterval来减少提交间隔。
2.2.2.5大数据量写入
使用insert方法：insert方法通过传入一个数组来执行大数据量写入。通过写注意的设置大数据量写入，可以显著的提高性能。并且通过ContinueOnError选项可以让批量插入有错误下还能完成。
在Shard集群中：ContinueOnError只在非分片中有效，这类大批量写入，对sharded集群来说会降低性能若要写入考虑一下方案：
预分配splits:大批量导入中，若collection是空的，那么只有一个spilt，当插入时 重新分配split导致性能问题所以要预先split
避免单调增长：可能大批量插入只针对一个sharded key，这样sharded的性能就没 有办法体现，如无法避免，可以考虑：1.二进制方式翻转shard key，2.key的前16位和 后16位互换。
2.2.2.6行留白（Record Padding）
因为超出文档就会重新分配，为了避免这个问题，可以事先留白，减少重分配的可能性。
留白因子：可以使用db.collection.stats()查看当前的paddingFactor，留白的大小可以通过一个公式计算：padding size = (paddingfactor-1)*<document size>。留白并不能对每个文档做准确的设置，只能根据文档大小的平均数。留白的大小只能通过执行compact或者repairDatabase选项回收。
删除留白：可以通过compact，repairDatabase和初始化复制同步选项来移除，导出导入也可以。
行分配策略：为了更加有效的使用因为删除而空闲的空间，或者文档重新分配的空间，可以指定mongodb分配的行大小，大小为2的n次。
2.3 Mongodb CRUD教程
2.3.1 插入文档
在mongodb中，可以使用insert，update，save来插入数据
2.3.1.1使用insert插入文档
向inventory插入数据：db.inventory.insert( { _id: 10, type: "misc", item: "card", qty: 15 } )
2.3.1.2使用update插入文档
使用update插入文档的时候要指明upsert：true，表示如果有数据则修改，没数据则插入
db.inventory.update(
{ type: "book", item : "journal" },
{ $set : { qty: 10 } },
{ upsert : true }
)
{ "_id" : ObjectId("51e8636953dbe31d5f34a38a"), "item" : "journal", "qty" : 10, "type" : "book" }
插入的文档如果没有指定_id mongodb会自动分配一个_id。
2.3.1.3使用save插入文档
往inventory插入数据db.inventory.save( { type: "book", item: "notebook", qty: 40 } )
{ "_id" : ObjectId("51e866e48737f72b32ae4fbc"), "type" : "book", "item" : "notebook", "qty" : 40 }
2.3.2查询文档
在mongodb中，find()返回一个游标，通过游标来获取返回的文档。
2.3.2.1 查询全部的文档
可以使用如下来查询所有的文档：
db.inventory.find( {} )，db.inventory.find()
2.3.2.2指定条件查询文档
如果要在inventory中查询type为food或者snacks的：
db.inventory.find( { type: { $in: [ 'food', 'snacks' ] } } )
2.3.2.3使用and条件查询
在mongodb中，只要都好分开就表示and条件
db.inventory.find( { type: 'food', price: { $lt: 9.95 } } )
2.3.2.4 使用or条件查询
db.inventory.find(
{ $or: [
{ qty: { $gt: 100 } },
{ price: { $lt: 9.95 } }
]
}
)
2.3.2.5使用and和or 查询
db.inventory.find( { type: 'food', $or: [ { qty: { $gt: 100 } },
{ price: { $lt: 9.95 } } ]
} )
2.3.2.6子文档
当要查询子文档的时候，可以指定子文档的所有值，也可以使用.(点号) 获取子文档的字段值。
精确的匹配文档
也就是匹配整个子文档
db.inventory.find(
{
producer: {
company: 'ABC123',
address: '123 Street'
}
}
)
使用子文档的字段匹配
用点号获取子文档的值
db.inventory.find( { 'producer.company': 'ABC123' } )
2.3.2.7数组
匹配方式和子文档类似
匹配整个数组
db.inventory.find( { tags: [ 'fruit', 'food', 'citrus' ] } )
匹配某个元素
只要某个元素在数组中都会被匹配
db.inventory.find( { tags: 'fruit' } )
匹配指定元素
db.inventory.find( { 'tags.0' : 'fruit' } )
子文档数组
使用数组所有匹配子文档中的字段：db.inventory.find( { 'memos.0.by': 'shipping' } )
多字段匹配
db.inventory.find(
{
'memos.memo': 'on time',
'memos.by': 'shipping'
}
)
2.3.3限制查询返回的字段
Projection可以限制字段的输出
2.3.3.1 返回所有字段
Find，函数第二个参数就是projection如果不填就是全部返回
2.3.3.2返货指定字段和_id
db.inventory.find( { type: 'food' }, { item: 1, qty: 1 } )
其中_id字段是默认返回的所有不用指定
2.3.3.3只返回指定字段
db.inventory.find( { type: 'food' }, { item: 1, qty: 1, _id:0 } )
因为_id是默认返回的，所以要设置_id不返回。
2.3.3.4 返回除某字段外的所有字段
db.inventory.find( { type: 'food' }, { type:0 } )
2.3.3.5数组字段的Projection
对于数组来说唯一可用的projection操作就是$elemMath和$slice
2.3.4在mongo shell中迭代一个游标
如find函数没有赋值给变量，在shell中会直接迭代20次。
2.3.4.1手动迭代游标
通过以下方式可以直接迭代20次
var myCursor = db.inventory.find( { type: 'food' } );
myCursor
也可以手动迭代
var myCursor = db.inventory.find( { type: 'food' } );
var myDocument = myCursor.hasNext() ? myCursor.next() : null;
if (myDocument) {
var myItem = myDocument.item;
print(tojson(myItem));
}
还可以用forEach方法
var myCursor = db.inventory.find( { type: 'food' } );
myCursor.forEach(printjson);
2.3.4.2迭代索引
在mongo shell中可以可以直接把游标toArray()，然后直接访问数组即可。
var myCursor = db.inventory.find( { type: 'food' } );
var documentArray = myCursor.toArray();
var myDocument = documentArray[3];
2.3.5分析查询性能
Explain()游标方法，这个方法用来分析查询的效率，确定如何使用索引。
2.3.5.1 评估查询性能
db.inventory.find( { type: 'food' } ).explain()
结果
{
"cursor" : "BtreeCursor type_1",
"isMultiKey" : false,
"n" : 5,
"nscannedObjects" : 5,
"nscanned" : 5,
"nscannedObjectsAllPlans" : 5,
"nscannedAllPlans" : 5,
"scanAndOrder" : false,
"indexOnly" : false,
"nYields" : 0,
"nChunkSkips" : 0,
"millis" : 0,
"indexBounds" : { "type" : [
[ "food",
"food" ]
] },
"server" : "mongodbo0.example.net:27017"
}
Cursor的值为btreecursor表示是用了索引
n表示返回的文档数
2.3.5.2比较索引性能
如果要比较索引之间的性能可以使用hint来强制
db.inventory.find( { type: 'food' } ).hint( { type: 1 } ).explain()
db.inventory.find( { type: 'food' } ).hint( { type: 1, name: 1 } ).explain()
2.3.6修改文档
修改文档的操作有，update 和save，update是修改文档，save如果文档存在则替换文档。
2.3.6.1使用update修改多个文档
要修改多个文档时，要把multi-true设置上。
db.inventory.update(
{ type : "book" },
{ $inc : { qty : -1 } },
{ multi: true }
)
2.3.6.2使用save修改文档
Save可以替换已经存在的文档
db.inventory.save(
{
_id: 10,
type: "misc",
item: "placard"
}
)
2.3.7删除文档
删除文档一般使用remove方法
2.3.7.1删除所有文档
直接写不带参数的remove就会把collection中的文档全部删除。
db.inventory.remove()
2.3.7.2 带条件删除文档
db.inventory.remove( { type : "food" } )
2.3.7.3 带条件删除一个文档
db.inventory.remove( { type : "food" }, 1 )
2.3.8 执行二阶段提交
当处理多文档的更新和事务，可以使用二阶段提交的方式来写多个文档
2.3.8.1背景
单文档操作是原子的，多文档没有，所以多文档的操作不能有原子性保障，当执行事务时就可能发生以下问题：
1.原子性：如果一个操作失败，事务必须回滚到之前的状态
2.隔离性：同步发生的事务，在事务过程中必须看到一致性的数据
3.一致性：如果发生数据库错误，中断了事务，数据库必须能够恢复到一致的状态
多文档的写可以使用二阶段提交
2.3.8.2模式
概述
假设要做转账操作，我们有一个accounts collection和一个transactions collection用来保存用户数据和事务数据。
db.accounts.save({name: "A", balance: 1000, pendingTransactions: []})
db.accounts.save({name: "B", balance: 1000, pendingTransactions: []})
事务描述
设置事务初始化状态：在创建的 transactions中插入一条数据并且状态为initial。
db.transactions.save({source: "A", destination: "B", value: 100, state: "initial"})
然后把事务状态设置为pending：在要处理事务之前把事务状态设置为pending表示处理这个事务。db.transactions.update({_id: t._id}, {$set: {state: "pending"}})
应用事务到2个账号上：
db.accounts.update({name: t.source, pendingTransactions: {$ne: t._id}}, {$inc: {balance: -t.value}, $push: {pendingTransactions: t._id}})
db.accounts.update({name: t.destination, pendingTransactions: {$ne: t._id}}, {$inc: {balance: t.value}, $push: {pendingTransactions: t._id}})
更新account的pendingTransaction中没有t._id的事务，就是t._id不是已经在处理事务，然后设置值，并把设置上pendingTransaction。
设置事务提交状态：db.transactions.update({_id: t._id}, {$set: {state: "committed"}})
删除pending事务：
db.accounts.update({name: t.source}, {$pull: {pendingTransactions: t._id}})
db.accounts.update({name: t.destination}, {$pull: {pendingTransactions: t._id}})
设置事务完成：
db.transactions.update({_id: t._id}, {$set: {state: "done"}})
从错误场景中恢复
可能会出现错误的场景：
1.在初始化事务，应用事务到2个账号上之间出错，为了恢复应用程序应该获取pending状态的事务，然后继续处理。
2.发生在应用事务，事务完成之间的错误，为了恢复应用程序应该获取done状态的事务，然后继续处理。
回滚：某些场景就需要回滚操作
1.当应用事务之后，已经提交了事务，就不应该去回滚事务，而是重新创建一个新的事务，来交换数据
2.在创建事务后，但是没有应用事务，可以使用一下步骤：
设置事务状态为取消：db.transactions.update({_id: t._id}, {$set: {state: "canceling"}})
Undo事务：
db.accounts.update({name: t.source, pendingTransactions: t._id}, {$inc: {balance: t.value}, $pull: {pendingTransactions: t._id}})
db.accounts.update({name: t.destination, pendingTransactions: t._id}, {$inc: {balance: -t.value}, $pull: {pendingTransactions: t._id}})
把事务状态修改为已取消：db.transactions.update({_id: t._id}, {$set: {state: "canceled"}})
多应用程序：多应用程序的时候很容易造成一致性问题和冲突。在这种情况下，在transaction中加入application字段，来区别应用程序。并且使用findAndModify()
t = db.transactions.findAndModify({query: {state: "initial", application: {$exists: 0}},
update: {$set: {state: "pending", application: "A1"}},
new: true})
2.3.8.3在生产环境使用二阶段提交
在例子中，我们假设了一些东西比如：
1.总是可以回滚一个用户
2.账号的剩余可以为负数
但是在生产环境下需要考虑：
1.在把事务设置为pending的时候，需要查看账号是否有足够的资金。
2.当事务设置提交时，需要修改借贷方
当然这些操作时在一个文档里面的，是原子的
也需要考虑：
1.数据库接口的写注意(wirte concern)
2.mongod的journaling是否开启确保数据库非干净关闭后数据库状态的恢复。
2.3.9 创建tailable cursor
2.3.9.1概述
默认游标使用完之后就会被关闭，但是Tailable Cursor不会，当文档有插入，Tailable Cursor也可以取到。对于高写入的capped collection上使用tailable cursor太昂贵。
Tailable cursor有一下特点：
1.游标不会使用索引，以自然顺序返回
2.tailable cursor在初始化阶段比较昂贵，新增的文档代价并不是很大。
3.某些情况下tailable curos会不可用，没有返回的文档，返回了collection的末尾，然后被应用程序删掉了。
2.3.9.2 C++例子
看手册p75
2.3.10隔离操作顺序
看手册p76
2.3.11创建自增字段
本节介绍2个创建自增的方法，计数collection，乐观循环（optimistic loop）
2.3.11.1计数Collection
使用一个独立的计数Collection来跟踪最新的顺序，_id表示顺序的名，seq表示最新的顺序。
1.插入一个userid的初始化值到计数collection中
db.counters.insert(
{
_id: "userid",
seq: 0
}
)
2.创建一个getNextSequence函数来获取一个名字的下一个顺序值。
function getNextSequence(name) {
var ret = db.counters.findAndModify(
{
query: { _id: name },
update: { $inc: { seq: 1 } },
new: true
}
);
return ret.seq;
}
3.在插入时使用getNextSequence函数
db.users.insert(
{
_id: getNextSequence("userid"),
name: "Sarah C."
}
)
2.3.11.2 乐观循环
读者觉得很奇葩的方法，手册 p80。
2.3.12 更新数组中限制更新行数
2.3.12.1 方式
有students collection有一个文档
{
_id: 1,
scores: [
{ attempt: 1, score: 10 },
{ attempt: 2 , score:8 }
]
}
然后再$push里面使用$each和$sort来实现
db.students.update(
{ _id: 1 },
{ $push: { scores: { $each : [
{ attempt: 3, score: 7 },
{ attempt: 4, score: 4 }
],
$sort: { score: 1 },
$slice: -3
}
}
}
)
输出结果
{
"_id" : 1,
"scores" : [
{ "attempt" : 3, "score" : 7 },
{ "attempt" : 2, "score" : 8 },
{ "attempt" : 1, "score" : 10 }
]
}
2.4 MongoDB CRUD 指南
2.4.1 查询游标方法
Cursor.count：返回文档的个数
Cursor.explain：显示查询的执行计划
Cursor.hint：强制mongo使用指定的索引
Cursor.limit：显示游标返回文档个数
Cursor.next：获取游标中下一个文档
Cursor.skip：跳过给定数量的文档
Cursor.sort：对指定字段排序
Cursor.toArray：游标返回成数组
2.4.2 查询和数据操作
Db.collection.count：返回collection文档个数
Db.collection.distinct：以数组方式返回指定字段的不同值
Db.collection.find：在collection执行find返回游标
Db.collection.findOne：返回一个文档
Db.collection.insert：在collection上创建文档
Db.collection.remove：删除collection上的文档
Db.collection.save：可以insert，也可以替换已经存在的文档
Db.collection.update：修改已经存在的文档
2.4.3 MongoDB CRUD指南文档
主要介绍，写注意（write concern），sql 到 mongodb的对照表，mongodb的驱动和客户端lib。
2.4.3.1 写注意(write concern)
概述
Write concern，mongodb为写入提供的保障，但是是通过消耗性能来保证write的安全性。可以对数据的重要性不同分级。
可以用的write concern
提供write concern，写入操作之后，驱动使用getLastError来获取最后才做的信息。返回一个err字段，：
1.null表示写入成功
2.非null就表示具体的错误
GetLastErroe的参数：
J或者journal选项：指定这个选项后，mongodb会写入日志到磁盘的journal上确保mongodb突然关闭之后数据不会丢失。
如下：db.runCommand( { getLastError: 1, j: "true" } )
如果在mongod中并没有启用journal，然后getLastError指定了 j:true会返回一个jnote字段包含了这个文档。
W选项：这个选项可以停用write concern，也可以指定复制集的write concern。可选值：
-1：关闭write operation通知
0：关闭基本的写入操作通知，但是返回socket异常和网络异常
1：提供通知，说明已经写入到了单个实例，或者复制集的primary
>1：说明要写入到>1个实例中。一般用户复制集，如果这个值大于复制集成员，mongodb会一致等下去。
Majority：确认写入操作已经传播到大多数的已配置复制集
Tag设置：使用tag设置可以很好的控制复制集成员很好的控制的不同write concern。
getLastError还提供了一个超时，如果给0会一直等待。
2.4.3.2 sql 到 mongodb的对照表
手册p85
2.4.3.3 mongodb驱动和客户端lib
手册p95
