摘要: 做测试之前,我们需要先获取一个可用代理,这里我用 Fiddler 来设置代理:https://www.cnblogs.com/pzk7788/p/10605300.html urllib 如何使用代理: request 如何使用代理: Selenium 如何使用代理: 阅读全文
posted @ 2019-04-02 11:14 孔雀东南飞 阅读(428) 评论(0) 推荐(0) 编辑
摘要: 代理的设置 代理池的维护 付费代理的使用 ADSL拨号代理 使用代理爬取微信公众号文章 阅读全文
posted @ 2019-04-02 10:40 孔雀东南飞 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 什么是滑动验证码: 如何识别滑动验证码: 第一步,模拟点击验证按钮,这一步操作比较简单,我们可以直接用 Selenium 模拟点击按钮 第二步,识别滑动缺口的位置,缺口的四周边缘有明显的断裂边缘,边缘和边缘周围有明显的区别。我们可以实现一个边缘检测算法来找出缺口的位置。对于极验验证码来说,我们可以利 阅读全文
posted @ 2019-04-02 09:40 孔雀东南飞 阅读(1942) 评论(0) 推荐(0) 编辑
摘要: date命令用于打印或设置系统日期和时间,常见用法如下: 命令参数: 阅读全文
posted @ 2019-04-01 17:22 孔雀东南飞 阅读(315) 评论(0) 推荐(0) 编辑
摘要: OCR 技术: (1) 在爬虫过程中,难免会遇到各种各样的验证码,而大多数验证码还是罔形验证码,这时候我们可以直接用 OCR 来识别(2) OCR ,即 Optical Character Recognition ,光学字符识别, 是指通过扫描字符,然后通过其形状将其翻译成电子文本的过程(3) te 阅读全文
posted @ 2019-04-01 17:10 孔雀东南飞 阅读(925) 评论(0) 推荐(0) 编辑
摘要: 点开一个条目,可以查看请求的详细信息: General —— 通用信息 Request URL:请求的URL Request Method:请求的方法 Status Code:响应状态码 Remote Address:远程服务器的地址和端口 Referer Policy:Referer 判别策略 R 阅读全文
posted @ 2019-04-01 15:47 孔雀东南飞 阅读(724) 评论(0) 推荐(0) 编辑
摘要: 图形验证码的识别 滑动验证码的识别 点触验证码的识别 宫格验证码的识别 阅读全文
posted @ 2019-03-27 09:40 孔雀东南飞 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 我们访问任何网址都会被 Fiddler 捕获,但有时我们只想捕获某个地址,可以使用 Fiddler 的会话过滤,如下我们只过滤出百度的域名 如下,切换到 Filters 把 Use Filters 打钩 选择 Show only the following Hosts 填写要过滤的域名 点击 Act 阅读全文
posted @ 2019-03-27 09:34 孔雀东南飞 阅读(386) 评论(0) 推荐(0) 编辑
摘要: 如下,会话列表中有很多会话,我们如果想要找到想要的会话,可以通过通过快捷键 Ctrl + F 进行查找 阅读全文
posted @ 2019-03-27 09:33 孔雀东南飞 阅读(1495) 评论(0) 推荐(0) 编辑
摘要: Fiddler 断点: (1) Fiddler 是以作为代理服务器的方式进行工作的,所以,本地应用与服务器传递的这些数据都会经过 Fiddler;(2) 有的时候,我们希望在传递的中间进行修改后再传递,那么可以使用 Fiddler 的断点功能,断点功能分为以下两种类型(3) 请求时断点:客户端发起请 阅读全文
posted @ 2019-03-27 09:32 孔雀东南飞 阅读(1129) 评论(0) 推荐(0) 编辑