10 2019 档案

selenium 12306模拟登陆
摘要：代码应用场景 ：基于第三方打码网站模拟登陆12306 验证码识别 基于第三方平台超级鹰识别 超级鹰官网：http://www.chaojiying.com/user/ 超级鹰使用流程： 注册 登陆（用户中心）充值 创建一个软件：软件ID->生成一个软件ID（901977） 下载实例代码->开发文档- 阅读全文
posted @ 2019-10-24 14:42 ivy_wang 阅读(301) 评论(0) 推荐(0)
selenium无头浏览器&规避操作
摘要：一、无头浏览器概述： 无头浏览器主要目的是打开浏览器但用户看不到 简单用法如下： 二、规避操作 规避造作主要存在的意义把selenium程序伪装成一个正常的请求，欺骗浏览器 正常情况下通过浏览器打开的一个网页的，在其console下执行window.navigator.webdriver会返回und 阅读全文
posted @ 2019-10-23 17:19 ivy_wang 阅读(6698) 评论(0) 推荐(0)
selenium之动作链
摘要：概念：一组连续的行为动作 爬取网站：https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable 背景：把左边的方块横竖往下便宜17px 阅读全文
posted @ 2019-10-23 11:14 ivy_wang 阅读(300) 评论(0) 推荐(0)
selenium在爬虫中的应用之动态数据爬取
摘要：一、selenium概念 selenium 是一个基于浏览器自动化的模块 selenium爬虫之间的关联： 1.便捷的获取动态加载的数据 2.实现模拟登录 基本使用 pip install selenium 获取浏览器的驱动程序 google驱动地址下载链接：http://chromedriver. 阅读全文
posted @ 2019-10-22 16:07 ivy_wang 阅读(894) 评论(0) 推荐(0)
单线程多任务异步协程
摘要：目录 1. 概念讲解 2. 多任务异步协程理解 3.基于aiohttp模块异步网络请求实现数据爬取及数据解析 一、需要了解的概念 特殊函数：如果async修饰了一个函数的定义，那么该函数就变成了一个特殊函数， 特殊之处：特殊函数被调用后函数内部实现语句不会被立即执行 该函数调用之后会返回一个协程对象 阅读全文
posted @ 2019-10-22 11:49 ivy_wang 阅读(438) 评论(0) 推荐(0)
提升爬虫效率之线程池
摘要：一、使用Flask模拟阻塞，利用线程池爬取数据 线程池代码： 阅读全文
posted @ 2019-10-22 10:16 ivy_wang 阅读(230) 评论(0) 推荐(0)
requests模块高级操作之cookie
摘要：一、cookie 存储在客户端的键值对，可以让服务端记录客户端相关状态。 如何处理cookie? 手动处理: 将抓包工具中的请求头信息中的cookie键值拷贝到header中 自动处理：session对象 session对象：该对象和requests有类似的功能，也可以想requests一样调用ge 阅读全文
posted @ 2019-10-21 14:38 ivy_wang 阅读(238) 评论(0) 推荐(0)
requests模块高级操作之proxies
摘要：一、代理proxy 概念：代理服务器 作用：请求和响应的转发 免费代理 www.goubanjia.com 快代理 西祠代理 代理精灵（付费） 匿名度： 透明：对方服务器知道你使用代理也知道你真实ip 匿名: 对方知道你使用代理但不知道你真实ip 高匿: 对方什么都不知道 类型： http: 只能拦 阅读全文
posted @ 2019-10-21 12:25 ivy_wang 阅读(3500) 评论(0) 推荐(0)
docker 第六篇 dockerfile
摘要：复习下镜像生成途径 Dockerfile 基于容器制作 什么是dockerfile： 用来构建镜像的源码，在配置文件中调用命令，这些命令是用来生成docker镜像的。 dockerfile的语法格式： 由两类组成： #Comment 注释信息 INSTRUCTION arguments 指令和指令参 阅读全文
posted @ 2019-10-09 17:48 ivy_wang 阅读(225) 评论(0) 推荐(0)