摘要：有时我们需要编写自己的一些下载器中间件，如 使用代理，更换user agent 等。 对于请求的中间件实现 ( request , spider )； 对于处理回复中间件实现 ( request , response , spider )； 以及异常处理实现 ( request , exceptio 阅读全文

摘要：一. 新建项目(scrapy startproject) 1. 在开始爬取之前，必须创建一个新的Scrapy项目。进入scrapy所在的项目目录中，运行下列命令： ​ 其中， mySpider 为项目名称 。 2. 在当前目录下继续输入命令，表示将在mySpider/spiders目录下创建一个名为 阅读全文