摘要： selenium提取数据 知识点： 了解 driver对象的常用属性和方法 掌握 driver对象定位标签元素获取标签对象的方法 掌握 标签对象提取文本和属性值的方法 1. driver对象的常用属性和方法 在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方 阅读全文

摘要： selenium的介绍 知识点： 了解 selenium的工作原理 了解 selenium以及chromedriver的安装 掌握 标签对象click点击以及send_keys输入 1. selenium运行效果展示 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Se 阅读全文

摘要： http协议复习 知识点 掌握 http以及https的概念和默认端口 掌握 爬虫关注的请求头和响应头 了解 常见的响应状态码 理解 浏览器和爬虫爬取的区别 一提起http协议，大家都会想起它是一个应用层协议，那么http协议跟爬虫有什么关系呢？请看下图： 1. http以及https的概念和区别 阅读全文

摘要： 爬虫概述 知识点： 了解 爬虫的概念 了解 爬虫的作用 了解 爬虫的分类 掌握 爬虫的流程 1. 爬虫的概念 模拟浏览器，发送请求，获取响应 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只 阅读全文

摘要： requests模块 知识点： 掌握 headers参数的使用 掌握 发送带参数的请求 掌握 headers中携带cookie 掌握 cookies参数的使用 掌握 cookieJar的转换方法 掌握 超时参数timeout的使用 掌握 代理ip参数proxies的使用 掌握 使用verify参数忽 阅读全文

摘要： 数据提取-lxml模块 知识点 了解 lxml模块和xpath语法的关系 了解 lxml模块的使用场景 了解 lxml模块的安装 了解 谷歌浏览器xpath helper插件的安装和使用 掌握 xpath语法-基础节点选择语法 掌握 xpath语法-节点修饰语法 掌握 xpath语法-其他常用语法 阅读全文

摘要： 在很多时候，你会想要让你的程序与用户（可能是你自己）交互。你会从用户那里得到输入，然后打印一些结果。我们可以使用iinput和print语句来完成这些功能。 input name = input('your name:') gender = input('you are a boy?(y/n)') 阅读全文

摘要： 条件控制 简单来说：当判断的条件为真时，执行某种代码逻辑，这就是条件控制。 那么在讲条件控制之前，可以给大家讲一个程序员当中流传的比较真实的一个例子 说有一天一个程序员，他的媳妇让他去出去买两个包子，那出去之前，他媳妇这么跟他说的，说老公你出去给我买两个包子 ，如果看见卖西瓜的就买一个回来。 结果这 阅读全文

摘要： 字典和集合 字典是一系列无序元素的组合，其长度大小可变，元素可以任意地删减和改变。不过要注意，这里的元素，是一对键（key）和值（value） 相比于列表和元组，字典的性能更优，特别是对于查找、添加和删除，字典都能在常数的时间复杂度内完成 而集合和字典基本相同，唯一的区别，就是集合没有键和值的配对是 阅读全文

摘要： 什么是列表和元组 列表是动态的，长度大小不固定，可以随意地增加、删减或者改变 而元组是静态的，长度大小固定，无法增加删减或者改变 定义列表和函数 l = [1, 2, 'hello', 'world'] # 列表中同时含有 int 和 string 类型的元素 l [1, 2, 'hello', ' 阅读全文