2017年7月4日

scrapy工程创建及pycharm运行

摘要： 1.通过命令行创建scrapy工程项目 scrapy startproject (工程名) 2.利用爬虫模板设置爬虫文件 在这个过程中我们可以先利用 scrapy genspider -l(小写的L)命令查看当前的爬虫模板 如：scrapy genspider -t 模板名 爬虫文件名 允许的域名 阅读全文

posted @ 2017-07-04 23:56 小明在线 阅读(741) 评论(0) 推荐(0)

python框架Scrapy报错TypeError: 'float' object is not iterable解决

摘要： 原因是：Twisted版本高了。 解决办法： 只要把Twisted库降级到16.6.0即可： 阅读全文

posted @ 2017-07-04 20:26 小明在线 阅读(9170) 评论(0) 推荐(0)

解决scrapy fetch http://www.csdn.net ModuleNotFoundError No module named 'win32api'和ImportError DLL load failed找不到指定的模块

摘要： 1.解决scrapy fetch http://www.csdn.netModuleNotFoundError No module named 'win32api' Python是没有自带访问windows系统API的库的，需要下载。库的名称叫pywin32，可以从网上直接下载。 以下链接地址可以下 阅读全文

posted @ 2017-07-04 13:36 小明在线 阅读(465) 评论(0) 推荐(0)

pip安装Scrapy框架报错

摘要： 安装： pip3 install scrapy==1.1.0rc3 一、.解决scrapy安装错误： 二、具体操作： 1.在http://landinghub.visualstudio.com/visual-cpp-build-tools下载相应的文件 点击下载，并安装即可 2.再次安装 pip3 阅读全文

posted @ 2017-07-04 10:25 小明在线 阅读(507) 评论(0) 推荐(0)

导航