爬取动态网页中关于构造浏览器头的注意事项

在原来爬取动态网页图片中,获取到了图片的实际地址,但是下载下来的图片是损坏的,究其原因,是服务器端阻止了访问,但是观察发现

headers = {'User-Agent': random.choice(UserAgent_List),
           'Accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
           'Accept-Encoding': 'gzip',
           }

浏览器头已经构造好了。原因是什么?

实际上,动态网页是从原网页指向图片服务器的,所以在浏览器头中需要加上原来的地址,伪造出是从浏览器跳转的效果。

posted @ 2018-07-26 16:37  Qian_Lu  阅读(165)  评论(0)    收藏  举报