一 爬虫基础概念

1.爬虫在使用场景中的分类

　　（1）通用爬虫

　　　　抓去系统的重要组成部分，抓去的是一整张页面的数据

　　  (2)聚焦爬虫

　　　　是建立在通用爬虫的基础上，抓取页面上的指定的局部内容

　　（3）增量式爬虫

　　　　检测网站中数据更新情况，只抓取网站中最新更新出来的数据

2.robots.txt协议：

　　明确规定网站中那些数据可以被爬虫爬取，那些数据不可以被爬取。(https://www.taobao.com/robots.txt)

3.http协议

　　概念：服务器于客户端之间进行数据交互的一种形式

　　常用请求头信息：

　　　　- User-Agent：请求载体的身份标识（包括使用的浏览器的名称版本，使用设备的信息等）

　　　　- Connection：请求完毕后，是断开连接还是保持连接

　　常用的响应头信息：
　　　　-Content-Type：服务器响应回客户端的数据类型

 

4.https协议：

　　-表示安全的超文本传输协议（会对数据加密）

　　加密方式：

　　　　- 对称密钥加密：

　　　　- 非对称密钥加密

　　　　- 证书密钥加密