11.MongoDB 查询分析
MongoDB 查询分析
目录
MongoDB 查询分析可以确保我们所建立的索引是否有效，是查询语句性能分析的重要工具。
MongoDB 查询分析常用函数有：explain() 和 hint()。
使用 explain()
explain 操作提供了查询信息，使用索引及查询统计等。有利于我们对索引的优化。
接下来我们在 users 集合中创建 gender 和 user_name 的索引：
db.users.ensureIndex({gender:1,user_name:1})
现在在查询语句中使用 explain ：
db.users.find({gender:"M"},{user_name:1,_id:0}).explain()
以上的 explain() 查询返回如下结果：
{
"cursor" : "BtreeCursor gender_1_user_name_1",
"isMultiKey" : false,
"n" : 1,
"nscannedObjects" : 0,
"nscanned" : 1,
"nscannedObjectsAllPlans" : 0,
"nscannedAllPlans" : 1,
"scanAndOrder" : false,
"indexOnly" : true,
"nYields" : 0,
"nChunkSkips" : 0,
"millis" : 0,
"indexBounds" : {
"gender" : [
[
"M",
"M"
]
],
"user_name" : [
[
{
"$minElement" : 1
},
{
"$maxElement" : 1
}
]
]
}
}
现在，我们看看这个结果集的字段：
- indexOnly: 字段为 true ，表示我们使用了索引。
- cursor：因为这个查询使用了索引，MongoDB 中索引存储在B树结构中，所以这是也使用了 BtreeCursor 类型的游标。如果没有使用索引，游标的类型是 BasicCursor。这个键还会给出你所使用的索引的名称，你通过这个名称可以查看当前数据库下的system.indexes集合（系统自动创建，由于存储索引信息，这个稍微会提到）来得到索引的详细信息。
- n：当前查询返回的文档数量。
- nscanned/nscannedObjects：表明当前这次查询一共扫描了集合中多少个文档，我们的目的是，让这个数值和返回文档的数量越接近越好。
- millis：当前查询所需时间，毫秒数。
- indexBounds：当前查询具体使用的索引。
使用 hint()
虽然MongoDB查询优化器一般工作的很不错，但是也可以使用 hint 来强制 MongoDB 使用一个指定的索引。
这种方法某些情形下会提升性能。 一个有索引的 collection 并且执行一个多字段的查询(一些字段已经索引了)。
如下查询实例指定了使用 gender 和 user_name 索引字段来查询：
db.users.find({gender:"M"},{user_name:1,_id:0}).hint({gender:1,user_name:1})
可以使用 explain() 函数来分析以上查询：
db.users.find({gender:"M"},{user_name:1,_id:0}).hint({gender:1,user_name:1}).explain()
mongodb查询操作分析
背景
mongodb 提供了类sql的数据查询及操作方式，同时也包含了聚合操作、索引等多个机制；
按以往的经验，不当的库表操作或索引模式往往会造成许多问题，如查询操作缓慢、数据库吞吐量低下、CPU或磁盘IO飙升等问题。
因此在应用开发过程中，有必要对DB操作进行审视，尤其是关键业务或复杂条件查询。mongodb 提供了explain方法可以让我们对 DB查询语句进行分析，提前分析潜在的瓶颈。
查询计划
mongodb 通过查询计划(QueryPlan)描述一个查询语句的执行过程，而通常一个查询操作可能对应多组查询计划。
这些查询计划通过选举机制产生最优计划，作为最终的执行方案。
此外mongodb 还提供了查询计划的缓存机制，如下图：
Diagram of query planner logic
查询操作被映射到一个查询模型(query shape)，模型中会包含条件(predicate)、排序(sort)、投影(projection)的定义；
以查询模型作为Key查找已存在的Plan缓存，在找到缓存的下一步仍进一步评估查询性能，若性能评估结果未达标，则 mongodb会淘汰缓存并进入查询计划生成阶段。
每一个计划生成阶段都会包含：
- 产生候选计划；
- 评估优选计划；
- 竞选最优计划；
- 创建缓存；
在产生最优计划之后，查询执行器将执行当前计划并产生最终结果。
explain 操作
通过下面的语句，可以对当前查询计划展开分析
db.T_FooData.find({
"appId":"s5WrMmrJV_8RBJG17FSVoY995Kga",
"nodeType":"SENSOR",
"creationTime":{
$gte : ISODate("2017-08-08T10:34:33.125Z"),
$lt : ISODate("2017-08-08T12:34:33.125Z")
}
}).explain("executionStats")
输出结果
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "db.T_FooData",
"indexFilterSet" : false,
"parsedQuery" : {
"$and" : [
{
"appId" : {
"$eq" : "s5WrMmrJV_8RBJG17FSVoY995Kga"
}
},
{
"nodeType" : {
"$eq" : "SENSOR"
}
},
{
"creationTime" : {
"$lt" : ISODate("2017-08-08T12:34:33.125Z")
}
},
{
"creationTime" : {
"$gte" : ISODate("2017-08-08T10:34:33.125Z")
}
}
]
},
"winningPlan" : { ... },
"rejectedPlans" : [ ... ],
},
"executionStats" : {
"executionSuccess" : true,
"nReturned" : 62848,
"executionTimeMillis" : 3058,
"totalKeysExamined" : 1510833,
"totalDocsExamined" : 1510833,
"executionStages" : { ... }
},
"serverInfo" : {
"host" : "NB3000W_MongoDB_01",
"port" : 50001,
"version" : "3.4.7",
"gitVersion" : "4249c1d2b5999ebbf1fdf3bc0e0e3b3ff5c0aaf2"
},
"ok" : 1,
"$gleStats" : {
"lastOpTime" : Timestamp(1504498101, 1),
"electionId" : ObjectId("7fffffff0000000000000001")
}
}
结果说明
queryPlanner 描述当前的查询计划；
queryPlanner.namespace 描述当前的集合命名空间，{db}.{collectionName}
queryPlanner.indexFilterSet 是否设置了indexFilter，Filter决定了查询优化器对于某个查询将如何使用索引
queryPlanner.parsedQuery 解析后的查询信息
queryPlanner.winningPlan 最优计划
queryPlanner.rejectPlans 拒绝的计划列表
executionStats 执行过程统计，捕获计划在执行过程中的相关信息
executionStats.executionSuccess 是否执行成功
executionStats.nReturned 返回条目数量
executionStats.executionTimeMilis 执行时间(ms)
executionStats.totalKeysExamined 索引检测条目
executionStats.totalDocsExamined 文档检测条目
executionStats.executionStages 执行阶段详情
explain 模式
mongodb 为 explain 操作提供了几种模式：
queryPlanner 默认的模式，仅进行查询计划分析，无法输出执行过程统计；
executionStats 执行模式，在查询计划分析后，将执行winningPlan并统计过程信息；
allPlansExecution 全计划执行模式，将执行所有计划(包括rejectPlans)，并返回过程统计信息；
executionStats.allPlansExecution 包含了所有计划(除winningPlan之外)的执行过程统计信息
执行计划详解
执行计划将整个过程分解为多个阶段，阶段(stage)以树状结构组织，这点与执行过程是匹配的。
stage 分为多种类型，如下：
| 阶段 | 描述 |
|---|---|
| COLLSCAN | 全表扫描 |
| IXSCAN | 索引扫描 |
| FETCH | 根据索引去检索指定document |
| PROJECTION | 限定返回字段 |
| SHARD_MERGE | 将各个分片返回数据进行merge |
| SORT | 表明在内存中进行了排序 |
| LIMIT | 使用limit限制返回数 |
| SKIP | 使用skip进行跳过 |
| IDHACK | 针对_id进行查询 |
| SHARDING_FILTER | 通过mongos对分片数据进行查询 |
| COUNT | 利用db.coll.explain().count()之类进行count运算 |
| COUNTSCAN | count不使用用Index进行count |
| COUNT_SCAN | count使用了Index进行count |
| SUBPLA | 未使用到索引的$or查询 |
| TEXT | 使用全文索引进行查询 |
winningPlan 样例
"winningPlan" : {
"stage" : "FETCH",
"filter" : {
"$and" : [
{
"nodeType" : {
"$eq" : "GATEWAY"
}
},
{
"creationTime" : {
"$lt" : ISODate("2017-08-08T12:34:33.125Z")
}
},
{
"creationTime" : {
"$gte" : ISODate("2017-08-08T10:34:33.125Z")
}
}
]
},
"inputStage" : {
"stage" : "IXSCAN",
"keyPattern" : {
"appId" : 1
},
"indexName" : "appId",
"isMultiKey" : false,
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 1,
"direction" : "forward",
"indexBounds" : {
"appId" : [
"[\"s5WrMmrJV_8RBJG17FSVoY995Kga\", \"s5WrMmrJV_8RBJG17FSVoY995Kga\"]"
]
}
}
},
字段说明
| 属性 | 描述 |
|---|---|
| winningPlan.stage | 最优计划stage，FETCH表示根据索引检索文档 |
| winningPlan.filter | 最优计划的过滤器，即查询条件 |
| winningPlan.inputStage | 最优计划stage的child stage |
| winningPlan.inputStage.stage | child stage,此处是IXSCAN，表示进行index scanning |
| winningPlan.inputStage.keyPattern | 扫描的索引模式 |
| winningPlan.inputStage.indexName | 选用索引名称 |
| winningPlan.inputStage.isMultiKey | 是否是Multikey，如果索引建立在array上则为true |
| winningPlan.inputStage.isSparse | 是否稀疏索引 |
| winningPlan.inputStage.isPartial | 是否分区索引 |
| winningPlan.inputStage.direction | 此query的查询顺序，此处是forward，如果用了.sort({w:-1})将显示backward |
| winningPlan.inputStage.indexBounds | 所扫描的索引范围 |
过程统计详解
executionStats 样例
"executionStats" : {
"executionSuccess" : true,
"nReturned" : 62848,
"executionTimeMillis" : 3058,
"totalKeysExamined" : 1510833,
"totalDocsExamined" : 1510833,
"executionStages" : {
"stage" : "FETCH",
"filter" : {
"$and" : [
{
"nodeType" : {
"$eq" : "GATEWAY"
}
},
{
"creationTime" : {
"$lt" : ISODate("2017-08-08T12:34:33.125Z")
}
},
{
"creationTime" : {
"$gte" : ISODate("2017-08-08T10:34:33.125Z")
}
}
]
},
"nReturned" : 62848,
"executionTimeMillisEstimate" : 2765,
"works" : 1510834,
"advanced" : 62848,
"needTime" : 1447985,
"needYield" : 0,
"saveState" : 11807,
"restoreState" : 11807,
"isEOF" : 1,
"invalidates" : 0,
"docsExamined" : 1510833,
"alreadyHasObj" : 0,
"inputStage" : {
"stage" : "IXSCAN",
"nReturned" : 1510833,
"executionTimeMillisEstimate" : 792,
"works" : 1510834,
"advanced" : 1510833,
"needTime" : 0,
"needYield" : 0,
"saveState" : 11807,
"restoreState" : 11807,
"isEOF" : 1,
"invalidates" : 0,
"keyPattern" : {
"appId" : 1
},
"indexName" : "appId",
"isMultiKey" : false,
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 1,
"direction" : "forward",
"indexBounds" : {
"appId" : [
"[\"s5WrMmrJV_8RBJG17FSVoY995Kga\", \"s5WrMmrJV_8RBJG17FSVoY995Kga\"]"
]
},
"keysExamined" : 1510833,
"dupsTested" : 0,
"dupsDropped" : 0,
"seenInvalidated" : 0
}
}
}
字段说明
| 属性 | 描述 |
|---|---|
| executionStats.executionSuccess | 是否执行成功 |
| executionStats.nReturned | 返回条目数量 |
| executionStats.executionTimeMilis | 执行时间(ms) |
| executionStats.totalKeysExamined | 索引检测条目 |
| executionStats.totalDocsExamined | 文档检测条目 |
| executionStats.executionStages | 执行阶段详情，大部分字段继承于winningPlan.inputStage |
| executionStats.executionStages.stage | 执行阶段，FETCH表示根据索引获取文档 |
| executionStats.executionStages.nReturned | 阶段返回条目数量 |
| executionStats.executionStages.executionTimeMillisEstimate | 阶段执行时间 |
| executionStats.executionStages.docsExamined | 阶段中文档检测条目 |
| executionStats.executionStages.works | 阶段中扫描任务数 |
| executionStats.executionStages.advanced | 阶段中向上提交数量 |
| executionStats.executionStages.needTime | 阶段中定位索引位置所需次数 |
| executionStats.executionStages.needYield | 阶段中获取锁等待时间 |
| executionStats.executionStages.isEOF | 阶段中是否到达流的结束位，对于limit限制符的查询可能为0 |
| executionStats.executionStages.inputStage | 执行阶段的子阶段，这里是一个IXSCAN的子过程 |
参考文档
explain 官方说明
http://www.mongoing.com/eshu_explain1
https://docs.mongodb.com/manual/reference/explain-results/#explain-output
关于explain的几种模式
https://docs.mongodb.com/manual/reference/method/cursor.explain/
理解mongo 的查询行为
https://www.compose.com/articles/explain-explain-understanding-mongo-query-behavior/
mongo的查询缓存
https://docs.mongodb.com/manual/core/query-plans/#index-filters
浙公网安备 33010602011771号