请求头的常见参数
2019-07-13 00:50 风e逸 阅读(963) 评论(0) 收藏 举报1.user-Agent :浏览器名称。服务器通过这个名称判断是什么浏览器发送的请求,爬虫默认的User-Agent是Python,默认User-Agent会让一些反爬虫的网站很容易识别出来爬虫程序,因此常设置此参数。
2.Referer:表名这个请求是从哪个url过来的。这个也可以反爬虫,不是从固定网页过来的就是爬虫。
3.Cookie:服务器通过此功能来知道请求是否是同一个人发送的。一般来说想要做登录之后才能访问的网站,就需要用Cookie了。
浙公网安备 33010602011771号