数据库之MongoDB

安装MongoDB

https://docs.mongodb.com/guides/server/install/　

参考 https://www.cnblogs.com/quickcodes/p/5390482.html

基本使用

mongodb数据库的命令

    查看当前的数据库：db
    查看所有的数据库：show dbs /show databases
    切换数据库：use db_name
    删除当前的数据库：db.dropDatabase()

mongodb集合的命令

    不手动创建集合： 向不存在的集合中第⼀次加⼊数据时， 集合会被创建出来
    手动创建结合：
        db.createCollection(name,options)
        db.createCollection("stu")
        db.createCollection("sub", { capped : true, size : 10 } )
        参数capped： 默认值为false表示不设置上限,值为true表示设置上限
        参数size： 当capped值为true时， 需要指定此参数， 表示上限⼤⼩,当⽂档达到上        限时， 会将之前的数据覆盖， 单位为字节
    查看集合：show collections
    删除集合：db.集合名称.drop()    

mongodb中常见的数据类型

    常见类型
        Object ID： ⽂档ID
        String： 字符串， 最常⽤， 必须是有效的UTF-8
        Boolean： 存储⼀个布尔值， true或false
        Integer： 整数可以是32位或64位， 这取决于服务器
        Double： 存储浮点值
        Arrays： 数组或列表， 多个值存储到⼀个键
        Object： ⽤于嵌⼊式的⽂档， 即⼀个值为⼀个⽂档
        Null： 存储Null值
        Timestamp： 时间戳， 表示从1970-1-1到现在的总秒数
        Date： 存储当前⽇期或时间的UNIX时间格式

    注意点

        创建日期语句如下 ：参数的格式为YYYY-MM-DD new Date('2017-12-20')

        每个文档都有一个属性， 为_id， 保证每个文档的唯一性

        可以自己去设置_id插入文档，如果没有提供， 那么MongoDB为每个文档提供了一个独特的_id， 类型为objectID

        objectID是一个12字节的十六进制数,每个字节两位，一共是24 位的字符串： 前4个字节为当前时间戳 接下来3个字节的机器ID 接下来的2个字节中MongoDB的服务进程id 最后3个字节是简单的增量值

mongodb的增删改查

mongodb的插入
    db.集合名称.insert(document)
    
    db.stu.insert({name:'gj',gender:1})
    db.stu.insert({_id:"20170101",name:'gj',gender:1})
    
    插入文档时， 如果不指定_id参数， MongoDB会为文档分配一个唯一的ObjectId
    
mongodb的保存
    命令：db.集合名称.save(document) 如果文档的_id已经存在则修改， 如果文档的_id不存在则添加
    
mongodb的简单查询    
    命令：db.集合名称.find()
    
mongodb的更新

    命令：db.集合名称.update(<query> ,<update>,{multi: <boolean>})
    
    参数query:查询条件
    参数update:更新操作符
    参数multi:可选， 默认是false，表示只更新找到的第⼀条记录， 值为true表示把满⾜条件的⽂档全部更新
        
    db.stu.update({name:'hr'},{name:'mnc'})   更新一条
    db.stu.update({name:'hr'},{$set:{name:'hys'}})    更新一条
    db.stu.update({},{$set:{gender:0}},{multi:true})   更新全部
    
    注意："multi update only works with $ operators"
    
mongodb的删除
    命令：db.集合名称.remove(<query>,{justOne: <boolean>})
    
    参数query:可选，删除的⽂档的条件
    参数justOne:可选， 如果设为true或1， 则只删除⼀条， 默认false， 表示删除多条

mongodb的高级查询

 

数据查询

    方法find()： 查询
        db.集合名称.find({条件⽂档})

    方法findOne()：查询，只返回第⼀个
        db.集合名称.findOne({条件⽂档})

    方法pretty()： 将结果格式化
        db.集合名称.find({条件⽂档}).pretty()
        
比较运算符
    {"name" : "郭靖", "hometown" : "蒙古", "age" : 20, "gender" : true }
    {"name" : "⻩蓉", "hometown" : "桃花岛", "age" : 18, "gender" : false }
    {"name" : "华筝", "hometown" : "蒙古", "age" : 18, "gender" : false }
    {"name" : "⻩药师", "hometown" : "桃花岛", "age" : 40, "gender" : true }
    {"name" : "段誉", "hometown" : "⼤理", "age" : 16, "gender" : true }
    {"name" : "段王爷", "hometown" : "⼤理", "age" : 45, "gender" : true }
    {"name" : "洪七公", "hometown" : "华⼭", "age" : 18, "gender" : true }
    
    等于： 默认是等于判断， 没有运算符
    小于：$lt （less than）
    小于等于：$lte （less than equal）
    大于：$gt （greater than）
    大于等于：$gte
    不等于：$ne    
    
逻辑运算符
    逻辑运算符主要指与、或逻辑
        and：在json中写多个条件即可
            查询年龄⼤于或等于18， 并且性别为true的学生
            db.stu.find({age:{$gte:18},gender:true})
    
        or:使⽤$or， 值为数组， 数组中每个元素为json
            查询年龄⼤于18， 或性别为false的学⽣
            db.stu.find({$or:[{age:{$gt:18}},{gender:false}]})

            查询年龄⼤于18或性别为男⽣， 并且姓名是郭靖
            db.stu.find({$or:[{age:{$gte:18}},{gender:true}],name:'gj'})

范围运算符
    使⽤$in， $nin 判断数据是否在某个数组内
    查询年龄为18、 28的学⽣
    db.stu.find({age:{$in:[18,28,38]}})
            
    
支持正则表达式
    使用//或$regex编写正则表达式
        查询sku以abc开头的数据
        db.products.find({sku:/^abc/})

        查询sku以789结尾的数据
        db.products.find({sku:{$regex:'789$'}})
        
skip和limit        
    方法limit()： 用于读取指定数量的文档
        db.集合名称.find().limit(NUMBER)
        查询2条学⽣信息
        db.stu.find().limit(2)
        
    方法skip()： 用于跳过指定数量的文档    
        db.集合名称.find().skip(NUMBER)
        db.stu.find().skip(2)
        
    同时使用
        db.stu.find().limit(4).skip(5)
        或 
        db.stu.find().skip(5).limit(4)    
        
    注意：先使用skip在使用limit的效率要高于前者
    
    
自定义查询*
    由于mongo的shell是一个js的执行环境 使⽤$where后⾯写⼀个函数， 返回满⾜条件的数据
    
         查询年龄⼤于30的学⽣
         db.stu.find({
             $where:function() {
                 return this.age>30;}
         })

投影

    在查询到的返回结果中， 只选择必要的字段
    命令：db.集合名称.find({},{字段名称:1,...})
    参数为字段与值， 值为1表示显示， 值为0不显 特别注意： 对于_id列默认是显示的， 如果不显示需要明确设置为0
    db.stu.find({},{_id:0,name:1,gender:1})    
    
排序
    方法sort()，用于对集合进行排序

    命令：db.集合名称.find().sort({字段:1,...})

    参数1为升序排列 参数-1为降序排列
        根据性别降序， 再根据年龄升序
        db.stu.find().sort({gender:-1,age:1})

统计个数
    方法count()用于统计结果集中⽂档条数

    命令：db.集合名称.find({条件}).count() 命令：db.集合名称.count({条件})

    db.stu.find({gender:true}).count()
    db.stu.count({age:{$gt:20},gender:true})    

消除重复
    方法distinct()对数据进⾏去重
    命令：db.集合名称.distinct('去重字段',{条件})
    db.stu.distinct('hometown',{age:{$gt:18}})

聚合操作

1. mongodb的聚合是什么

聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。

语法：db.集合名称.aggregate({管道:{表达式}})　　

mongodb的常用管道和表达式

常用管道命令
    在mongodb中，文档处理完毕后， 通过管道进⾏下⼀次处理 常用管道命令如下：
        $group： 将集合中的文档分组， 可⽤于统计结果
        $match： 过滤数据， 只输出符合条件的文档
        $project： 修改输⼊文档的结构， 如重命名、 增加、 删除字段、 创建计算结果
        $sort： 将输⼊文档排序后输出
        $limit： 限制聚合管道返回的文档数
        $skip： 跳过指定数量的文档， 并返回余下的文档
    
常用表达式
    表达式：处理输入文档并输出 语法：表达式:'$列名' 常⽤表达式:
        $sum： 计算总和， $sum:1 表示以⼀倍计数
        $avg： 计算平均值
        $min： 获取最小值
        $max： 获取最大值
        $push： 在结果文档中插入值到一个数组中

管道命令之$group
    按照某个字段进行分组
        $group是所有聚合命令中用的最多的一个命令，用来将集合中的文档分组，可用于统计结果

        使用示例如下
            db.stu.aggregate(
                {$group:
                    {
                        _id:"$gender",
                        counter:{$sum:1}
                    }
                }
            )
            
        其中注意点：
            db.db_name.aggregate是语法，所有的管道命令都需要写在其中
            _id 表示分组的依据，按照哪个字段进行分组，需要使用$gender表示选择这个字段进行分组
            $sum:1 表示把每条数据作为1进行统计，统计的是该分组下面数据的条数            

    group by null

        当我们需要统计整个文档的时候，$group 的另一种用途就是把整个文档分为一组进行统计
        使用实例如下：
            db.stu.aggregate(
                {$group:
                    {
                        _id:null,
                        counter:{$sum:1}
                    }
                }
            )

        其中注意点：_id:null 表示不指定分组的字段，即统计整个文档，此时获取的counter表示整个文档的个数
        
        
    数据透视
        正常情况在统计的不同性别的数据的时候，需要知道所有的name，需要逐条观察，如果通过某种方式把所有的name放到一起，那么此时就可以理解为数据透视

        使用示例如下：

            统计不同性别的学生
                db.stu.aggregate(
                     {$group:
                         {
                             _id:null,
                             name:{$push:"$name"}
                         }
                     }
                 )
                 
        使用$$ROOT可以将整个文档放入数组中
            db.stu.aggregate(
                 {$group:
                     {
                         _id:null,
                         name:{$push:"$$ROOT"}
                     }
                 }
             )
        
管道命令之$match
match用于进行数据的过滤，是在能够在聚合操作中使用的命令，和find区别在于$match 操作可以把结果交给下一个管道处理，而find不行        
    使用示例如下：

    查询年龄大于20的学生
     db.stu.aggregate(
         {$match:{age:{$gt:20}}
         )
         
    查询年龄大于20的男女学生的人数
     db.stu.aggregate(
         {$match:{age:{$gt:20}}
         {$group:{_id:"$gender",counter:{$sum:1}}}
         )    

         
管道命令之$project
$project用于修改文档的输入输出结构，例如重命名，增加，删除字段

    使用示例如下：
    查询学生的年龄、姓名，仅输出年龄姓名
     db.stu.aggregate(
         {$project:{_id:0,name:1,age:1}}
         )
         
    查询男女生人生，输出人数
     db.stu.aggregate(
         {$group:{_id:"$gender",counter:{$sum:1}}}
         {$project:{_id:0,counter:1}}
         )         
        
        
管道命令之$sort
    $sort用于将输入的文档排序后输出
    使用示例如下：
        查询学生信息，按照年龄升序
         db.stu.aggregate({$sort:{age:1}})
         
        查询男女人数，按照人数降序
         db.stu.aggregate(
             {$group:{_id:"$gender",counter:{$sum:1}}},
             {$sort:{counter:-1}}
         )


管道命令之$skip 和 $limit

    $limit限制返回数据的条数
    $skip 跳过指定的文档数，并返回剩下的文档数
    同时使用时先使用skip在使用limit
    
    使用示例如下：

        查询2条学生信息
         db.stu.aggregate(
             {$limit:2}
         )
         
        查询从第三条开始的学生信息
         db.stu.aggregate(
             {$skip:3}
         )
         
        统计男女生人数，按照人数升序，返回第二条数据
         db.stu.aggregate(
             {$group:{_id:"$gender",counter:{$sum:1}}},
             {$sort:{counter:-1}},
             {$skip:1},
             {$limit:1}
         )

索引

为什么mongdb需要创建索引
    加快查询速度
    进行数据的去重
    
创建简单的索引方法
    语法：
        db.集合.ensureIndex({属性:1})，1表示升序， -1表示降序
        db.集合.createIndex({属性:1})
        上面两个命令效果等价
        
    例子：
        db.t1.find({name:'test10000'})
        db.t1.find({name:'test10000'}).explain('executionStats')
        
索引的查看
    默认情况下_id是集合的索引
    查看方式：db.collection_name.getIndexes()
    
创建唯一索引
    在默认情况下mongdb的索引字段的值是可以相同的,仅仅能够提高查询速度
    语法：
        db.collection_name.ensureIndex({"name":1},{"unique":true})
    
删除索引
    语法：db.t1.dropIndex({'索引名称':1})

创建复合索引    
    在进行数据去重的时候，可能用多个字段来保证数据的唯一性，这个时候可以考虑建立复合索引来实现。
    语法：
        db.collection_name.ensureIndex({字段1:1,字段2:1})

建立索引注意点
    根据需要选择是否需要建立唯一索引
    索引字段是升序还是降序在单个索引的情况下不影响查询效率，但是带复合索引的条件下会有影响

备份与恢复

备份

    备份的语法：mongodump -h dbhost -d dbname -o dbdirectory
        -h： 服务器地址， 也可以指定端⼝号
        -d： 需要备份的数据库名称
        -o： 备份的数据存放位置， 此目录中存放着备份出来的数据
        
    示例：mongodump -h 127.0.0.1:27017 -d test01 -o ~/Desktop/test1bak
    
恢复
    恢复语法：mongorestore -h dbhost -d dbname --dir dbdirectory
        -h： 服务器地址
        -d： 需要恢复的数据库实例
        --dir： 备份数据所在位置
        
    示例：mongorestore -h 127.0.0.1:27017 -d test2 --dir ~/Desktop/test1bak/test1