2019年8月10日
爬虫 crawlspider
摘要： 基于crawlspider 的 爬虫 阳光投诉网 CrawlSpider的全站数据爬取 - CrawlSpider就是另一种形式的爬虫类。CrawlSpider就是Spider的一个子类 - 创建一个基于CrawlSpider的爬虫文件： - scrapy genspider -t crawl sp 阅读全文
posted @ 2019-08-10 18:14 我的IT007 阅读(150) 评论(0) 推荐(0)
爬虫 分布式
摘要： 11 分布式 1pip install scrapy-redis 2创建爬虫文件 3修改爬虫文件 setting 配置 item .py 文件 阅读全文
posted @ 2019-08-10 18:01 我的IT007 阅读(154) 评论(0) 推荐(0)