scrapy 添加代理

一、手动更新IP池 

1.在settings配置文件中新增IP池:

这些IP可以从这个几个网站获取:快代理、代理66、有代理、西刺代理、guobanjia。如果出现像下面这种提示:"由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败"或者是这种，" 由 于目标计算机积极拒绝，无法连接。". 那就是IP的问题，更换就行了。。。。发现上面好多IP都不能用。。

如果允许的话还是自己购买代理IP

设置后我们要在下载中间件中进行设置使用了

 这样设置以后我们就不用考虑我们的IP是否被封了（设置的IP可以正常使用时我们就可以正常的爬取了）