小明在线

摘要： 一、先在MySQL中创建test数据库，和相应的site数据表 二、创建Scrapy工程 三、进入工程目录，根据爬虫模板生成爬虫文件 四、设置IP池或用户代理（middlewares.py文件） 五、settngs.py配置 六、定义爬取关注的数据（items.py文件） 七、爬虫文件编写（test 阅读全文

摘要： 1 import pymongo as pm 2 3 # 获取连接 4 client = pm.MongoClient('localhost', 27017) # 端口号是数值型 5 6 # 连接数据库 7 db = client.py3 8 9 # 获取集合 10 stb = db.stb 11 12 # 获取数据信息 13 datas = stb.find() 1... 阅读全文

摘要： 1.增删改查封装类MysqlHelper.py 2.数据查询（引入封装类） 3.数据修改（引入封装类） 阅读全文

摘要： 1 import pymysql as ps 2 3 # 打开数据库连接 4 db = ps.connect(host='localhost', user='root', password='123456', database='test', charset='utf8') 5 6 # 创建一个游标对象 7 cur = db.cursor() 8 9 # 参数化处理 10... 阅读全文

摘要： 1.增 2.删除 阅读全文

摘要： 1 import pymysql as ps 2 3 # 打开数据库连接 4 db = ps.connect(host='localhost', user='root', password='123456', database='test', charset='utf8') 5 6 # 创建一个游标对象 7 cur = db.cursor() 8 9 a = cur.ex... 阅读全文

摘要： 一、创建Scrapy工程 二、进入工程目录，根据爬虫模板生成爬虫文件 三、设置IP池或用户代理（middlewares.py文件） 四、settngs.py配置 五、定义爬取关注的数据（items.py文件） 六、爬虫文件编写（test.py） 七、管道文件编写（pipelines.py） 八、测试 阅读全文

摘要： middlewares.py settngs.py中添加一下代码（注意根据项目名修改指向，如这里的工程名是“的demo3”） 阅读全文