scrapy创建爬虫项目

1. 创建项目: scrapy startproject 项目名
2. 创建爬虫: cd 项目名
scrapy genspider 爬虫名 爬虫起始url
3. 启动爬虫: scrapy crawl 爬虫名
4. 启动爬虫并保存日志: scrapy crawl 爬虫名 -s LOG_FILE=日志名.log
5. 利用scrapy的工具调试某个页面: scrapy shell url地址

posted @ 2019-10-23 13:44  爱洗澡的猫妹  阅读(176)  评论(0)    收藏  举报