解决使用Scrapy中 ERROR：Error downloading和 RequestGenerationFailed 报错

踩坑回顾

这几天用scrapy实现了爬取百度热搜电影，在windows上能成功爬取，但是当我把代码放到ubuntu18.04虚拟机上，却没有爬到内容，出现如下错误：

 

 

解决方法

我比较了以下他们各个组件的版本信息，也就是这部分信息。

 

 

 

我发现虚拟机的cryptography版本明显低了，于是我尝试着去升下级：

 

pip3 install --upgrade cryptography 

然后再次运行的时候发现突然就可以了！

 

 

原文链接