摘要：踩坑回顾 这几天用scrapy实现了爬取百度热搜电影，在windows上能成功爬取，但是当我把代码放到ubuntu18.04虚拟机上，却没有爬到内容，出现如下错误： 解决方法 我比较了以下他们各个组件的版本信息，也就是这部分信息。 我发现虚拟机的cryptography版本明显低了，于是我尝试着去升 阅读全文

摘要：PyCharm安装scrapy框架 一、系统环境说明： 操作系统：windows10 64位专业版； python版本：python 3.9 pycharm版本：pycharm 2021.1 二、安装库： 首先打开pycharm的设置，ctrl+alt+s或者file菜单里找，然后出来那个大设置框， 阅读全文

摘要：Scrapy的301、302重定向问题原因及解决办法 根据 HTTP标准 ，返回值为200-300之间的值为成功的response。 Scrapy运行爬虫过程中，目标网站返回301或302，而没有获取到想要的网页内容，表示请求失败。eg： 2019-02-13 17:18:32 [scrapy.ex 阅读全文