摘要：
记录将本地Pycharm项目上传到Github的整个过程。 准备工作 首先得注册github账号，这里不多说然后，安装git (我的版本git version 2.15.0.windows.1)PyCharm版本2017.2.3 上传操作 第一步，点击PyCharm的File -> Setting， 阅读全文
posted @ 2019-10-25 11:12
拷贝达人
阅读(362)
评论(0)
推荐(0)
摘要：
# 数据的持久化操作redis >MongoDBimport redisfrom pymongo import MongoClientimport json# 爬虫实现简单分布式：多个url放到列表里，往里不停放URL，程序循环取值，# 可以把url放到redis中，多台机器从redis中取值，爬取 阅读全文
posted @ 2019-10-20 00:33
拷贝达人
阅读(2071)
评论(0)
推荐(0)
摘要：
第一步 下载scrapy模块: pip install scrapy-redis 第二步 创建项目 在终端/cmd进入创建项目的目录: cd 路径: scrapy startproject douban(项目名) 导入到pycharm中 第三步 创建爬虫类 1.在terminal中进入项目中的spi 阅读全文
posted @ 2019-10-17 23:57
拷贝达人
阅读(206)
评论(0)
推荐(0)
摘要：
一:安装框架升级匹配版本:pip install --upgrade pip通过pip安装Scrapy框架 pip install scrapy 二:爬虫步骤:①新建项目(在命令行先进入想要放置的项目文件的目录)scrapy startproject 项目名例:scrapy startproject 阅读全文
posted @ 2019-10-17 15:46
拷贝达人
阅读(159)
评论(0)
推荐(0)
摘要：
# 通过init创建对象,指定参数host、port与指定的服务器和端口连接,# host默认为localhost、port默认为6379,db(数据库)默认为0sr=StrictRedis(host='localhost',port=6379,db=0)# 简写sr=StrictRedis() from redis import * #string-增加 try: #创建StrictRedis对 阅读全文
posted @ 2019-10-17 14:08
拷贝达人
阅读(531)
评论(0)
推荐(0)
摘要：
Keys()类提供了键盘上几乎所有按键的方法，这个类可用来模拟键盘上的按键，包括各种组合键，如 Ctrl+A, Ctrl+X，Ctrl+C, Ctrl+V 等等 此外，还有其他按键的模拟： send_keys(Keys.TAB) 制表键(Tab) send_keys(Keys.ESCAPE) 回退键 阅读全文
posted @ 2019-10-17 09:21
拷贝达人
阅读(709)
评论(0)
推荐(0)
摘要：
from selenium import webdriver from selenium.webdriver.common.keys import Keys import time import pymongo def get_goods(driver): #连接mongodb client=pymongo.MongoClient('localhost',27017) #指定数据库 db=clie 阅读全文
posted @ 2019-10-16 15:00
拷贝达人
阅读(484)
评论(0)
推荐(0)
摘要：
import pymongo #导入操作mongo的模块 client=pymongo.MongoClient(host='localhost',port=27017) #连接本地的服务端db=client.school #指定操作的数据库collection=db.students #指定操作的集 阅读全文
posted @ 2019-10-15 14:53
拷贝达人
阅读(2819)
评论(0)
推荐(0)
摘要：
删除数据 remove() 方法的基本语法格式如下所示： 参数说明： query :（可选）删除的文档的条件。 justOne : （可选）如果设为 true 或 1，则只删除一个文档。 writeConcern :（可选）抛出异常的级别。 db.collectionsNames.remove( { 阅读全文
posted @ 2019-10-14 17:12
拷贝达人
阅读(1866)
评论(0)
推荐(0)
摘要：
数据库使用 开启 mongodb 服务：要管理数据库，必须先开启服务，开启服务使用mongod --dbpath D:\md\data\db 管理 mongodb 数据库：mongo (一定要在新的 cmd 中输入) 清屏：cls 查看所有数据库列表>show dbs 使用数据库、创建数据库>use 阅读全文
posted @ 2019-10-14 17:07
拷贝达人
阅读(514)
评论(0)
推荐(0)
浙公网安备 33010602011771号