摘要: CrawlSpider可用于有规则的网站,对其整站的爬取 一、创建项目 scrapy startproject wxapp cd wxapp scrapy genspider -t crawl wxapp_spider wxapp-union.com 二、更改setting.py ROBOTSTXT 阅读全文
posted @ 2020-06-24 09:48 udbful 阅读(304) 评论(0) 推荐(0)