市丸银

摘要： 1、基本要点 # 导入模块 from matplotlib import pyplot as plt # x轴数据 x = range(2, 26, 2) # y轴数据 y = [15, 13, 14.5, 17, 20, 25, 26, 26, 27, 22, 18, 15] # 绘图 plt.p 阅读全文

摘要： 一、安装 conda install pymongo 二、使用 1、连接 from pymongo import MongoClient client = MongoClient(host='ip', port=27017) # 使用方括号的方式选择数据库和集合 collection = clien 阅读全文

摘要： 一、作用 提升查找的速度 二、计算查找消耗时间 格式 db.集合名称.find(查询条件)..explain('executionStats') 例子 插入10万条数据到数据库中 for(i=0; i < 100000; i++){ db.t4.insert({name: 'test' + i, a 阅读全文

摘要： 这部分内容属于补充内容 1、xpath() 2、css() 3、正则表达式 # 多个值，列表 response.xpath('//a/text()').re('(.*?):\s(.*)') # 取第一个值 response.xpath('//a/text()').re_first('(.*?):\s 阅读全文

摘要： 一、基础 1、什么是聚合？ 聚合是基于数据处理的聚合管道，每个文档通过一个有多个阶段(stage)组成的管道可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果 db.集合名称.aggregate({管道: {表达式}}) 有点像Django中ORM聚合的语法 2、常用管道 阅读全文

摘要： 1、数据库备份 mogodbdump -h dbhost -d dbname -o dbdirectory -h: 服务器地址，也可以指定端口号 -d: 需要备份的数据库的名称 -o: 备份的数据库存放的位置，此目录中存放着备份出来的数据 mongodump -h 127.0.0.1:27017 - 阅读全文

摘要： 1、代理池： https://github.com/Python3WebSpider/ProxyPool 从网络上获取代理 判断是否可用 储存到redis 定期检测代理地址的有效性 api：通过url获取代理 2、使用过程 代理为None，若ip被封禁(响应状态码)，从代理池中获取新的代理，请求使用 阅读全文

摘要： ubuntu 14.04： http://mirrors.aliyun.com/ubuntu-releases/14.04/ ubuntu 16.04： http://mirrors.aliyun.com/ubuntu-releases/16.04/ ubuntu 18.04： http://mir 阅读全文

摘要： 一、基本操作 # 查找全部数据 db.集合名称.find() # 根据条件查找数据 db.集合名称.find({条件文档}) # 根据条件查找一条数据 db.集合名称.findOne({条件文档}) # 美化数据的输出格式 db.集合名称名称.find({条件文档}).pretty() # 注意： 阅读全文

摘要： 一、数据库操作 # 1.显示数据库 show dbs show databases # 2.创建数据库或使用数据库 use db # 注意： db 存储值后，才会在show dbs命令下显示 # 3.查看当前数据库 db # 4.删除当前的数据库 db.dropDatabase() 二、集合操作 注 阅读全文