摘要： 一、什么是VUE？ 它是构建用户界面的JavaScript框架（让它自动生成js,css，html等） 二、怎么使用VUE？ 1、引入vue.js 2、展示HTML <div id="app"> <p>{{msg}}</p> <p>{{ 80+2 }}</p> <p>{{ 20>30 }}</p> 阅读全文

摘要： 阅读目录 第一篇：爬虫基本原理 第二篇：请求库之requests,selenium 第三篇：解析库之re、beautifulsoup、pyquery 第四篇：存储库之mongodb、redis、mysql 第五篇：爬虫高性能相关 第六篇：Scrapy框架 第七篇：爬虫实战 1、破解滑动验证码 2、投 阅读全文

摘要： 一、介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求 #安装 阅读全文

摘要： 一、流程分析 第一步：获取登录页，获取X_Anti_Forge_Token，X_Anti_Forge_Code 1、请求url：https://passport.lagou.com/login/login.html 2、请求方式：get 3、请求头: - cookie：用session处理了 - U 阅读全文

摘要： 一、介绍 一些网站会在正常的账号密码认证之外加一些验证码，以此来明确地区分人/机行为，从一定程度上达到反爬的效果，对于简单的校验码Tesserocr就可以搞定，如下 但一些网站加入了滑动验证码，最典型的要属于极验滑动认证了，极验官网：http://www.geetest.com/，下图是极验的登录界 阅读全文

摘要： 一、介绍 二、安装 三、命令行工具 四、项目结构以及爬虫应用简介 五、Spiders 六、Selectors 七、Items 八、Item Pipelin 九、 Dowloader Middeware 十、Sider Middlewear 十一、自定义扩展 十二、setitings.py 十三、获取 阅读全文

摘要： 一、背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 阅读全文

摘要： 一、介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文

摘要： 阅读目录 一、介绍 二、安装 三、基本使用 四、选择器 五、等待元素被加载 六、元素交互操作 七、其他 八、练习 一、介绍 selenium最初是一个测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器 阅读全文

摘要： 一、爬虫是什么? 二、爬虫的基本流程 三、请求与响应 四、Request 五、Response 六、总结 一、爬虫是什么? #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传 阅读全文