2018年4月17日
INFO: Ignoring response <503 http://www.xicidaili.com/nn>: HTTP status code is not handled or not allowed 用scrapy爬虫
摘要： 用scrapy爬取http://www.xicidaili.com/nt/1（国内ip）是启动小蜘蛛一直报错，将网址换成百度是可以进入parse。 错误： 2018-04-17 16:55:52 [scrapy.core.engine] DEBUG: Crawled (503) <GET http: 阅读全文
posted @ 2018-04-17 17:10 自说自话唉 阅读(4369) 评论(0) 推荐(0) 编辑
2018年2月8日
pip安装scrapy时出现的错误：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual....
摘要： python3+win10在pip install安装scrapy下载了一大堆东西到最后出现题目错误 解决方法： 去此网址 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载与之对应的版本 如：Twisted-17.9.0-cp36-cp36m 阅读全文
posted @ 2018-02-08 16:29 自说自话唉 阅读(157) 评论(0) 推荐(0) 编辑