python爬虫入门---第四篇：网站对爬虫的限制及突破测试

大部分网站对网络爬虫都有限制，限制方式有两种：

一、Robots协议；二、网站通过判断对网站访问http的头部信息来查看是否是爬虫，并对爬虫做相关拦截

第一种限制是书面限制，第二种是强制性阻拦限制。那我们如何去突破第二种限制呢？

首先我们要爬取一个网站大部分会使用requests库的get()方法，而get()方法返回的response对象中包含了我们对网站的请求信息。例如：

import requests

url = 'https://www.cnblogs.com/huwt/'

res = requests.get(url)

print(res.request.headers)

-----------------------------------------------
输出结果：
{'User-Agent': 'python-requests/2.19.1', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

 

通过请求的头部信息我们可以看到一个键值对：'User-Agent': 'python-requests/2.19.1'，而强制性的限制就是通过判断'User-Agent'的值来判断是否为爬虫，

只要我们将请求对象中'User-Agent'的值修改为浏览器的'User-Agent'即可，例如：

import requests

url = 'https://www.cnblogs.com/huwt/'

res = requests.get(url, headers = {'User-Agent':'Mozilla/5.0'})

print(res.request.headers)

-----------------------------------------------
输出结果：
{'User-Agent': 'Mozilla/5.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

 

我们可以看到通过修改get()方法的参数就能将'User-Agent'的值被修改为'Mozilla/5.0'，此时我们的爬虫模拟成了Mozilla/5.0浏览器，

这样就可以不被识别的去访问一些有所限制的网站了。

 

提醒：

以上方法只供实验测试使用，任何一名爬虫使用者都应遵守Robots协议，文明爬取网站。