niansi - 博客园

应对加密js的三种方法

摘要：经常遇到网页在登录后会对用户输入的帐号和密码通过js进行加密，导致模拟登录这类网站时受到阻碍这里小记一下当前解决该问题的三种方法 1.利用python实现js同等加密。 2.利用selenium模拟登录。 3.利用pyexecjs来执行js文件测试站点：http://bbs.125.la/ 登录阅读全文

posted @ 2017-05-07 23:09 niansi 阅读(594) 评论(0) 推荐(0)

python实现RSA加解密

摘要： RSA的算法涉及三个参数，n、e、d。其中，n是两个大质数p、q的积，n的二进制表示所占用的位数，就是所谓的密钥长度。e和d是一对相关的值，e可以任意取，但要求e与(p-1)*(q-1)互质；再选择d，要求(d*e)mod((p-1)*(q-1))=1。（n，e),(n，d)就是密钥对。其中(n，e 阅读全文

posted @ 2017-05-01 16:55 niansi 阅读(3747) 评论(0) 推荐(0)

appium不能获取webview内容的解决办法

摘要：在用appium对小猿搜题app进行自动化测试时，准备用page_source打印出文章的xml内容但是发现只能打印出外部结构内容，实际的文章内容却没有显示截图如下查询之后，得知需要通过contexts获取所有的context,然后通过switch_to.context()切换到对应的cont 阅读全文

posted @ 2017-04-24 00:03 niansi 阅读(4034) 评论(0) 推荐(0)

selenium与phantomjs简单结合

摘要： selenium工具安装 Windows安装pip install selenium Linux安装apt-get install selenium 查看selenium支持的浏览器from selenium import webdriverhelp(webdriver) 无头浏览器phantomJ 阅读全文

posted @ 2017-04-17 00:05 niansi 阅读(262) 评论(0) 推荐(0)

使用PyV8模块破解网站加密cookie

摘要： PyV8是Chromium中内嵌的javascript引擎，号称跑的最快。PyV8是用Python在V8的外部API包装了一个python壳，这样便可以使python可以直接与javascript操作。首先是正常请求网页，返回带加密的JS函数的html: import reimport PyV8i 阅读全文

posted @ 2017-04-08 23:43 niansi 阅读(835) 评论(0) 推荐(0)

selenium无法定位元素问题

摘要：在用自动化测试工具selenium完成下载任务时，经常会遇到定位不到元素的情况，总结如下： 1.frame/iframe原因定位不到元素：这个是最常见的原因，首先要理解下frame的实质，frame中实际上是嵌入了另一个页面，而selenium每次只能在一个页面识别，因此需要先定位到相应的fram 阅读全文

posted @ 2017-04-04 20:25 niansi 阅读(715) 评论(0) 推荐(0)

selenium 窗口句柄之间的切换

摘要：以前使用selenium时都是在单窗口的模式下，本次新增多窗口下的窗口之间切换 from selenium import webdriver from selenium.webdriver.common.keys import Keys import selenium.webdriver.suppo 阅读全文

posted @ 2017-03-26 15:54 niansi 阅读(439) 评论(0) 推荐(0)

phantomjs 设置代理

摘要： phantomjs 可通过以下设置代理ip #coding=utf-8import osimport reimport timeimport requestsfrom scrapy.selector import HtmlXPathSelectorfrom scrapy.http import Ht 阅读全文

posted @ 2017-03-18 17:03 niansi 阅读(1576) 评论(1) 推荐(0)

搜索引擎不收录网页的常见原因

摘要：周末在家查找了一下网站不被搜索引擎收录的可能原因，在此总结一下： 1、网页使用框架框架内的内容通常不在搜索引擎抓取的范围之内。搜索引擎不抓取，自然就搜不到了。 2、图片太多，文本太少这样的网站可能会被搜索引擎认为是一种垃圾网站，不会进行收录。 3、提交页面转向另一网站这个理由同上，搜索引擎可能阅读全文

posted @ 2017-03-12 21:35 niansi 阅读(693) 评论(0) 推荐(0)

网络爬虫与web之间的访问授权协议——Robots

摘要：网站的管理者们通常会有这样一种心态：一方面期待百度、Google这样的搜索引擎来抓取网站的内容，另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息。正是因为这样，才有“好爬虫”、“坏爬虫”这样的说法。提到“好爬虫”，就不得不提网络爬虫与web之间的访问授权协议——Robots协议了。Robots协阅读全文

posted @ 2017-03-06 06:38 niansi 阅读(1029) 评论(1) 推荐(0)