五、Scrapy框架(4)——Scrapy Shell

Scrapy Shell

我们想要在爬虫中使用xpath、beautifulsoup、正则表达式、css选择器等来提取想要的数据。但是因为scrapy是一个比较重的框架。每次运行起来都要等待一段时间。因此要去验证我们写的提取规则是否正确，是一个比较麻烦的事情。因此Scrapy提供了一个shell，用来方便的测试规则。当然也不仅仅局限于这一个功能。

打开Scrapy Shell：

打开cmd终端，进入到Scrapy项目所在的目录，然后进入到scrapy框架所在的虚拟环境中，输入命令scrapy shell [链接]。就会进入到scrapy的shell环境中。在这个环境中，你可以跟在爬虫的parse方法中一样使用了。

Scrapy Shell笔记

1. 可以方便我们做一些数据提取的测试代码。
2. 如果想要执行scrapy命令，那么毫无疑问，肯定是要先进入到 scrapy所在的环境中。
3. 如果想要读取某个项目的配置信息，那么应该先进入到这个项目中，再执行scrapy shell命令。