爬虫-Scrapy（一） Scrapy 安装和创建项目

1. windows 下 Scrapy 的安装

用pip 安装，网上的教程非常多，这里就不详细写了。
注意安装过程中可能因为缺少依赖安装失败，这个时候有些教程说必须安装完整版的visual stdio,这玩意非常大，其实不需要，只需要安装合适版本的twisted就可以了，注意不要被误导了。

 

2.Scrapy 框架运行流程

对，就是下面这种图，very very famous ,基本讲到的Scrapy都会提及，讲的概念都大同小异，后面使用中慢慢说吧。 

估计找工作面试的话很容易被问到吧。

 

 

 

 

 

3.Scrapy 创建和运行项目

这个和步骤1一样，教程非常多，基本上先了解下 startproject ,genspider, crawl。