MongoDB

 

uri = 'mongodb://user:pass@39.108.29.203:27017/database'
client = MongoClient(uri)

 

保存图片(二进制)

from pymongo import MongoClient
from gridfs import *
import os
#链接mongodb
client=MongoClient('localhost',27017)
#取得对应的collection
db=client.image
#本地硬盘上的图片目录
dirs = 'H:\PYTHON-DUJUN\day999-spider\db\mongodb'
#列出目录下的所有图片
files = os.listdir(dirs)
#遍历图片目录集合
for file in files:
    #图片的全路径
    filesname = dirs + '\\' + file
    #分割，为了存储图片文件的格式和名称
    f = file.split('.')
    #类似于创建文件
    datatmp = open(filesname, 'rb')
    #创建写入流
    imgput = GridFS(db)
    #将数据写入，文件类型和名称通过前面的分割得到
    insertimg=imgput.put(datatmp,content_type=f[1],filename=f[0])
    datatmp.close()
print("保存成功")

　　

提取图片(二进制)

 

from pymongo import MongoClient
from gridfs import *
client=MongoClient('localhost',27017)
db=client.image
#给予girdfs模块来写出，其中collection为上一步生成的，我不知道怎么该名称。实际上是由fs.flies和fs.chunks组成
gridFS = GridFS(db, collection="fs")
count=0
for grid_out in gridFS.find():
    count+=1
    print(count)
    data = grid_out.read() # 获取图片数据
    outf = open('%s.png' %count,'wb')#创建文件
    outf.write(data)  # 存储图片
    print('ok')
    outf.close()

　　

 

https://www.cnblogs.com/zhangxinqi/p/9242687.html

 

自建一个json格式的数据

 mongodb curd

https://www.imooc.com/article/21772

 

那为什么要用mongo来存呢？

首先、数据关系复杂，没有表连接，结构化弱。

然后、利用mongo全文索引查找方便

最好、数据不重要，记录的日志数据库。意外丢失风险可以接受。

说了这么多，接下来幕客先给大家说说对mongo的CURD,如下：

一、安装mongo的支持

sudo /opt/python2.7.13/bin/pip install pymongo

二、简单操作

1) 数据库实例创建

In [1]: import pymongo

In [2]: pymongo.MongoClient('192.168.8.237',27017)

Out[2]: MongoClient(host=['192.168.8.237:27017'], document_class=dict, tz_aware=False, connect=True)

In [3]: mgc = pymongo.MongoClient('192.168.8.237',27017)

2）插入数据

In [4]: db = mgc['iops'] 
In [10]: col.insert_one(content)
Out[10]: <pymongo.results.InsertOneResult at 0x104907e60>

3)数据查找，确认插入成功

> db.logrecord.find()

{ "_id" : ObjectId("5a27b65dfa121a84df126d8c"), "status" : "success", "stepid" : 2, "stepinfo" : "ok! finished", "taskid" : 23432 }

4)直接通过python的对象获取内容

In [12]: col.find_one()

Out[12]:

{u'_id': ObjectId('5a27b65dfa121a84df126d8c'),

u'status': u'success',

u'stepid': 2,

u'stepinfo': u'ok! finished',

u'taskid': 23432}

(5) 通过查询条件查询

查询成功的内容

In [13]: col.find_one({'status':'success'})
Out[13]:
{u'_id': ObjectId('5a27b65dfa121a84df126d8c'),
u'status': u'success',
u'stepid': 2,
u'stepinfo': u'ok! finished',
u'taskid': 23432}

(6) 更新数据

col.update_one({"stepid":2},{"$set":{"stepid":3}})

(7) 获取所有的集合

相当于show tables获取集合操作

In [11]: db.collection_names()
Out[11]: [u'opts', u'logrecord']

 mongo常用命令

show dbs　　　　　  //显示数据库

use theDb　　　　  //进入某DB

show collections　　//显示该DB下所有表

 

创建表

db.createCollection("myColl")   //建立myColl表

搜出collection中的数据

 

db.myColl.find();  查找myColl表中的所有记录 
db.myColl.find().limit(10)  查找myColl表中的10条记录

 

清空collection表中的所有数据

 

db.myColl.remove({}) 清空myColl表中的所有数据

删除表

db.myColl.drop()删除此表

统计数据

  db.myColl.count()   //统计myColl表记录数

使用$in operator 修改多条Doc：

db.inventory.update(
                     { tags: { $in: ["appliances", "school"] } },
                     { $set: { sale:true } }
                   )

更多方法是用命令

db.mycoll.help()

获取第一条/最早添加的数据
这个小伙伴们应该指定，如果是nodejs的api中之间使用user.findOne()就能找到，但是直接在mongo使用是不行滴：

但是我们可以这样做：
db.users.find({}).limit(1)
取出所有的再限制只取一条：

这样就成功取出了第一条。

获取最后一条/最晚添加的数据
这个似乎也没有直接可以使用的api接口哦。

所以我们想起来每一个文档都有一个ObjectId，而这个ObjectId是有带时间性质的哦，我们可以先按_id进行倒序排列，再取第一条，就OK了：
db.users.find({}).sort({_id:-1}.limit(1)

这样就成功取出了最后一条，

接着再验证试试：

 

可以发现最新插入的被取出来了，OK，没有问题。

 

 

导入 导出表数据

apt-get update
apt-get upgrade
apt-get install lrzsz
mongoexport --host localhost --port 27017 --collection schedules --db crawlab_test --out schedules.json
mongoimport --host localhost --port 27017 --collection schedules --db crawlab_test --file /opt/schedules.json