欢迎来到Cecilia陈的博客

孤独，是人一生最好的修行。

随笔分类 -  爬虫快速入门

12 天猫 （加密请见谅）
该文被密码保护。
posted @ 2020-01-05 19:21 Cecilia陈 阅读(2) 评论(0) 推荐(0)
11 render方法报错
摘要：在第一次使用r.html.render时报错 如果你遇到了在第一次使用r.html.render()的时候，没有帮你下载内核浏览器，并且报错时，你要做如下操作 原因: 可能是速度太慢，下载时还有可能报错 我的报错是 urllib3.exceptions.MaxRetryError: HTTPSCon 阅读全文
posted @ 2020-01-05 19:18 Cecilia陈 阅读(796) 评论(0) 推荐(0)
10 requests-html
摘要：[TOC] 一、requests html介绍 使用Python开发的同学一定听说过Requsts库，它是一个用于发送HTTP请求的测试。如比我们用Python做基于HTTP协议的接口测试，那么一定会首选Requsts，因为它即简单又强大。 而requests库也是用作于爬虫。 现在作者Kennet 阅读全文
posted @ 2020-01-05 19:17 Cecilia陈 阅读(373) 评论(0) 推荐(0)
09 MongoDB数据库知识
摘要：[TOC] 一、简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库 1. 易用性 2. 易扩展 3.丰富的功能 4.卓越的性能 二、MongoDB基础知识 1. 文档概念 文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','name':'cc'}。类 阅读全文
posted @ 2020-01-05 19:14 Cecilia陈 阅读(244) 评论(0) 推荐(0)
08 MongoDB数据库安装
摘要：[TOC] 一、安装 二、安装成功后添加环境变量 三、安装成功后启动服务 这个时候我们去c盘创建这个data文件夹，并在data文件夹下新建一个db文件夹 这个时候我们在重新打开终端cmd，输入mongod 四、服务启动成功后连接MongoDB数据库 五、出现问题 阅读全文
posted @ 2020-01-05 19:13 Cecilia陈 阅读(167) 评论(0) 推荐(0)
06 解析库Beautiful Soup
摘要：[TOC] 一、Beautiful Soup介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautifu 阅读全文
posted @ 2020-01-05 19:10 Cecilia陈 阅读(93) 评论(0) 推荐(0)
04 doubanTop50
摘要： 阅读全文
posted @ 2020-01-05 19:07 Cecilia陈 阅读(152) 评论(0) 推荐(0)
03 请求库之selenium
摘要：[TOC] 一、selenium库介绍 二、selenium优缺点 三、requests库的优缺点 四、安装selenium 五、基础使用（打开浏览器） 六、等待元素被加载 1. 隐式等待 2. 显示等待 七、选择器 模拟百度登录操作为例 八、获取标签属性 九、百度搜索框多次搜索 十、其他操作 1. 阅读全文
posted @ 2020-01-05 19:05 Cecilia陈 阅读(295) 评论(0) 推荐(0)
02 请求库之requests库
摘要：[TOC] 一、介绍 安装requests库 介绍：Requests 官网链接:https://docs.python requests.org//en/master/ 二、基于Get请求 1. 基本请求 2.带参数的Get请求 headers 3. 带参数的Get请求 params 4. 带参数的 阅读全文
posted @ 2020-01-05 19:04 Cecilia陈 阅读(216) 评论(0) 推荐(0)
01 基本原理
摘要：[TOC] 一、爬虫是什么 首先思考一下爬虫到底是个什么东西呢？ 当然不可能是下面这个可爱得小东西啦 二、爬虫的基本流程 三、请求与响应 以百度为例 四、Request请求 4.1模拟浏览器访问百度首页 4.2 模拟百度搜索 首先我们先真实的浏览器访问一下百度搜索的接口 基于以上的请求我们发现我们只 阅读全文
posted @ 2020-01-05 19:02 Cecilia陈 阅读(201) 评论(0) 推荐(0)
爬虫之快速了解
摘要：第一部分 requests请求库 "01 基本原理" "02 请求库之requests库" 第二部分 selenium 驱动请求 "03 请求库之selenium" "04 doubanTop50" "05 梨视频(加密请见谅)" 第三部分 解析库 Beautiful Soup "06 解析库Bea 阅读全文
posted @ 2020-01-01 12:23 Cecilia陈 阅读(141) 评论(0) 推荐(0)