最近遇到的一些错误以及解决——爬虫pyspider和scrapy方面

　　1、前几天安装了pyspider,在命令行中运行pyspider all ，说是 'pyspider 不是内部或者外部命令'，我一想，这肯定是环境变量没配置吧，弄了一堆，还是不行，放弃了。回家的电脑，装了一个，一试就成功。本来以为是单位电脑的问题，因为很多莫名其妙的原因，比如杀毒软件或者防火墙。百度了，也没个说法。后来在python安装目录下 "python36/Scripts "下面找了找，确实没有看到pyspider。有Django、pip等等，我就想那就重装一下pyspider吧，还挺快，然后pyspider就出现了，再次运行‘pyspider all’也不报错了。

 

　　2、下午开完会，说是开始学scrapy，新建了一个项目，然后报错了，一大堆错误，第一行是

line 193, in _run_module_as_main "__main__", mod_spec

然后百度，发现有人有这个问题，但是也没有解决方法。继续找，有人说要降低twisted版本，我觉得有可能，因为安装的时候找了好久，才在一个人发的百度网盘链接里找到。这里要有一个小插曲：在四平的奶茶店和肯德基，安装了好多东西。按照网上的教程，一步步安装依赖，中间有一步报错。说是要安装vs2015还是多少，太笨重了。然后网上提供的镜像网站现在停止服务了，资源全都是404not found 。后来就在网上找啊找，我发现，现在网上东西虽然多，但是很多都是重复的，无用的。就像博客园的文章一样，你抄我，我抄你。后来找到一个网盘资源赶紧保存。安装成功

言归正传，这次的scrapy新建项目报错，按照网上说的，降低版本，失败了，也是，安装的时候都那么费劲。而且我发现，很多帖子都是3、4年前的了，给出的方法还是换成py2。

后来我就抱着试一试的心态，卸载scrapy，然后重新pip install ，然后就好了，也是神奇。