摘要：编写Scrapy-Redis分布式爬虫： 要将一个scrapy项目编程一个scrapy-redis项目只需修改以下三点就可以了： 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider ；或者是从scrapy.CrawlSpider变成scrapy 阅读全文

摘要：1、创建项目 scrapy startproject myproject #myproject 为项目名 2、列出所有模板 scrapy genspider -l 3、创建爬虫 scrapy genspider -t crawl zhihu zhihu.com # zhihu 为爬虫名 zhihu. 阅读全文

摘要：1、安装virtualenv pip install virtualenv 2、安装virtualenv的扩展管理包 pip install virtualenvwrapper-win 3、创建虚拟目录（用来存放虚拟环境的） 在你的环境变量中编辑添加 WORKON_HOME然后在将你要存放的位置放进 阅读全文