Scrapy学习

一、scrapy添加到系统变量。

    1.找到scrapy.exe小技巧。pip install scrapy会显示已安装路径。分别添加到系统变量和用户变量。

二、CrawlSpider(全站数据爬取）

      1.scrapy  genspider  -t crawl xxx www.xxx.com

三、scrapy优点

      1.异步

　  2.多线程