代码改变世界

请求头的常见参数

2019-07-13 00:50  风e逸  阅读(963)  评论(0)    收藏  举报

1.user-Agent :浏览器名称。服务器通过这个名称判断是什么浏览器发送的请求,爬虫默认的User-Agent是Python,默认User-Agent会让一些反爬虫的网站很容易识别出来爬虫程序,因此常设置此参数。

2.Referer:表名这个请求是从哪个url过来的。这个也可以反爬虫,不是从固定网页过来的就是爬虫。

3.Cookie:服务器通过此功能来知道请求是否是同一个人发送的。一般来说想要做登录之后才能访问的网站,就需要用Cookie了。