基于UA的反爬机制

反爬机制：网站检查请求的UA， 如果发现UA是爬虫程序，则拒绝提供网站数据

User-Agent(UA) : 请求载体的身份标识

反反爬机制：伪装爬虫程序请求的UA

import urllib.request
url = "https://www.baidu.com/"

#UA伪装
#1.子制定一个请求对象
headers = {
       # 存储任意的请求头信息
       "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"
    }    

# 该请求对象的UA进行了成功的伪装
request = urllib.request.Request(url = url, headers = headers)  # headers为字典形式可以放置多个请求头信息

# 针对自制定的请求对象发起请求
response = urllib.request.urlopen(request)

print(response.read())

 

posted @ 2018-12-07 10:14  Corey0606  阅读(423)  评论(0)  编辑  收藏  举报