Kenny

摘要： ‘ 爬虫高阶 一、 验证码识别 1、 简介 验证码和爬虫之间的爱恨情仇？ 反爬机制：验证码，识别验证码图片中的数据，用于登录验证 识别验证码的操作： 人工肉眼识别（不推荐） 第三方自动识别 打码平台：超级鹰 2、 使用方法 注册 登录 下载开发者文档：【http://www.chaojiying.c 阅读全文

摘要： 高性能异步编程 一、 引入背景 1、 概述 其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任 阅读全文

摘要： 线程和进程 一、 什么是进程 / 线程 1、 引论 众所周知，CPU是计算机的核心，它承担了所有的计算任务。而操作系统是计算机的管理者，是一个大管家，它负责任务的调度，资源的分配和管理，统领整个计算机硬件。应用程序是具有某种功能的程序，程序运行与操作系统之上 2、 线程 在很早的时候计算机并没有线程 阅读全文

摘要： selenium 基础语法 一、 环境配置 1、 安装环境 安装 selenium 第三方库 pip install selenium 下载浏览器驱动： Firefox浏览器驱动：geckodriver Chrome浏览器驱动：chromedriver , taobao备用地址 IE浏览器驱动：IE 阅读全文

摘要： 爬虫基础 一、 基本概念 1、 简介 1.1 概念 什么是爬虫？ 爬虫就是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程 爬虫的价值： 抓取互联网上面的大量的数据，可以将这些数据商业化和商品化 爬虫的合法性： 爬虫在法律上是不被禁止的 但是其具有违法风险 善意爬虫——百度······ 阅读全文

摘要： requests库 一、 基本概念 1、 简介 requests 模块是 python 基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 阅读全文

摘要： PyQuery库 一、 简介 1、 概述 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好 PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH 阅读全文

摘要： 数据可视化 一、 什么是数据可视化 1、 概念 数据可视化主要的目的：借助图形化手段，清晰有效地传递与沟通信息 数据可视化可以把数据从冰冷的数字转换成图形，揭示蕴含在数据中的规律和道理 2、 常见的数据可视化库 D3：目前 Web 评价最高的 JS 可视化工具库（入手难） ECharts：百度出品的 阅读全文

摘要： jQuery 基础语法 一、 jQuery 概述 1、 JS 库 仓库：可以把很多东西放到这个仓库里面，找东西只需要到仓库里面查找到就可以了 JS 库：即 library，是一个封装好的特定的集合（方法和函数）。从封装一大堆函数的角度理解库，就是在这个库中，封装了很多预先定义好的函数里面，比如动画 阅读全文

摘要： 本地存储 一、 概论 随着互联网的快速发展，基于网页的应用越来越普遍，同时也变得越来越复杂，为了满足各种各样的需求，会经常在本地存储大量数据，HTML5 规范提出了相关的解决方案 本地存储特性 数据存储在用户浏览器中 设置、读取方便、设置页面刷新不丢失数据 容量比较大，window.sessionS 阅读全文