2019年7月17日
scrapy爬取的数据异步存储至MySQL
摘要： 以scrapy爬虫爬取简书中全部的页面详情数据为例： 1.cmd执行scrapy genspider -t crawl jbooks jianshu.com 创建完爬虫项目后最好为其创建一个脚本启动文件start.py 文件在项目根目录即可 去配置文件更改默认的配置信息： 1.robot协议必须改为 阅读全文
posted @ 2019-07-17 15:21 青红*皂了个白 阅读(1230) 评论(0) 推荐(0)