摘要:        
在scrapy中使用代理时,我们不能保证每个代理都可用,难免出现代理ip错误的情况,如果代理ip出现错误设置一个请求超时和重新发送这个链接 在yield scrapy.Request时候加上一个参数: 代表请求超时为10秒 然后在settings中设置如下: 保存即可    阅读全文
posted @ 2018-01-16 19:12
这次我有经验了
阅读(2201)
评论(0)
推荐(0)
        
            
        
        
摘要:        
今天scrapy 发送一段url的时候,如下 里边有一对(),scrapy无法发送出去,()后边的参数不发送 解决方法: %加上括号的ASCLL码 如+的ASCLL码为2b 则应改成%2b    阅读全文
posted @ 2018-01-16 14:08
这次我有经验了
阅读(485)
评论(0)
推荐(0)
        
 
                    
                     
                    
                 
                    
                 
