随笔分类 -  Phantomjs

爬虫中遇到的一些问题
摘要:function() { var height = document.body.clientHeight; var number = 0; //控制结束累加器 var length = 0; //控制每次翻滚长度 var frequency = 5; //控制总时间 var time = setIn 阅读全文
posted @ 2021-03-16 18:15 kakaok 阅读(3093) 评论(0) 推荐(0)
摘要:最近一直在用phantomjs 自动登陆并爬取一些数据,突然发现爬取https类型的网站的时候无法正常操作了 困扰了两天的问题在经过google和stackoverflow的一番搜索后发现原来Phantomjs中有个service_args参数可以忽略https错误 在Linux Centos服务器 阅读全文
posted @ 2017-04-01 15:29 kakaok 阅读(3160) 评论(0) 推荐(2)
摘要:最近遇到phantomjs动态更换ip的功能,在知乎上看到一篇不错的文章,顺手记下来以备后用 phantomjs selenium 如何动态修改代理? 可以这样做(Python代码): # 不使用代理代打开ip138 browser=webdriver.PhantomJS(PATH_PHANTOMJ 阅读全文
posted @ 2017-03-01 11:56 kakaok 阅读(8713) 评论(1) 推荐(0)
摘要:Selenium中使用PhantomJS,设置User-Agent的方法。默认情况下,是没有自动设置User-Agent的;设置PhantomJS的user-agent 阅读全文
posted @ 2016-12-06 13:34 kakaok 阅读(8545) 评论(0) 推荐(0)