随笔分类 -  selenium

selenium 代理设置
摘要：设置Firefox代理： 设置Chrome代理： 阅读全文
posted @ 2018-11-27 12:14 家迪的家 阅读(15778) 评论(0) 推荐(0)
selenium的等待~
摘要：既然使用了selenium,那么必然牺牲了一些速度上的优势，但由于公司网速不稳定，导致频频出现加载报错，这才意识到selenium等待的重要性。 说到等待又可以分为3类， 1.强制等待 但是有一个问题，既然已知网速不稳定，那这个sleep的秒数如何确定，难道sleep max(最差的网络状态)，显得 阅读全文
posted @ 2018-11-13 10:55 家迪的家 阅读(187) 评论(0) 推荐(0)
selenium js
摘要：这几天的任务量比较大，还有一个挺棘手的网站cfda，不巧的是数据量还挺大，40W关于企业信息。上来就是debugger pause,调试中断，开始还是挺懵逼的，但这个还算简单毕竟google，百度，就能解决。经过初步的分析，有一个难点，关于跨网页，一个字串，以及cookies是一个网页一变，要解决这 阅读全文
posted @ 2018-11-01 20:13 家迪的家 阅读(215) 评论(0) 推荐(0)
selenium 登陆小技巧
摘要：简单的小栗子。 其中蛮有趣的一种输入方式 参考自http://selenium-python.readthedocs.io/getting-started.html官方文档。 阅读全文
posted @ 2018-04-24 19:03 家迪的家 阅读(392) 评论(0) 推荐(0)
用selenium获取cookies
摘要：前言：由于登录反爬措施的越来越麻烦，甚至出现了12306这种看图识物的无敌验证码，我只能说，我选择死亡。这就衍生出了使用selenium来获取获取cookies。 实例：获取qq空间cookies，亲测成功2018-3-7（注意点：chromedriver.exe的路径输入） cookies一保存， 阅读全文
posted @ 2018-03-07 15:23 家迪的家 阅读(13274) 评论(0) 推荐(1)
selenium
摘要：1.1什么是selenium selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题、通过账号密码获取cookies(基于各大网站登录验证码的升级，特别是12306)。 1.2centos7无桌面环境部署 安装火狐浏览器 $ yum ins 阅读全文
posted @ 2018-03-07 14:38 家迪的家 阅读(396) 评论(0) 推荐(0)