摘要: 爬虫新手大坑:爬取数据的时候一定要设置header伪装成浏览器!!!! 在爬取某财经网站数据时由于没有设置Header信息,直接被封掉了ip 后来设置了Accept、Connection、User-Agent三个参数后换了个ip登录,成功请求到几次数据后又被封掉ip 最后老老实实把所有header信 阅读全文
posted @ 2017-10-16 17:37 Jacck 阅读(2106) 评论(0) 推荐(0)
摘要: 首先python安装selenium,命令行中输入 在执行代码如下代码时出现错误 错误如下 解决方案: 问题没有下载PhantomJS,PhantomJS不需要像python模块那样安装,直接进入官网下载页面http://phantomjs.org/download.html下载相应版本安装即可。 阅读全文
posted @ 2017-10-16 02:08 Jacck 阅读(1057) 评论(0) 推荐(1)