04 2018 档案

Linux下安装Python3.6
摘要：1. 安装依赖环境 # yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel 阅读全文
posted @ 2018-04-21 16:36 自说自话唉 阅读(182) 评论(0) 推荐(0)
scrapy设置ip池问题
摘要：middlewares.py setting.py 小蜘蛛代码 阅读全文
posted @ 2018-04-21 16:26 自说自话唉 阅读(328) 评论(0) 推荐(0)
INFO: Ignoring response <503 http://www.xicidaili.com/nn>: HTTP status code is not handled or not allowed 用scrapy爬虫
摘要：用scrapy爬取http://www.xicidaili.com/nt/1（国内ip）是启动小蜘蛛一直报错，将网址换成百度是可以进入parse。 错误： 2018-04-17 16:55:52 [scrapy.core.engine] DEBUG: Crawled (503) <GET http: 阅读全文
posted @ 2018-04-17 17:10 自说自话唉 阅读(4439) 评论(0) 推荐(0)