爬虫绕过登陆

今日查 美团厦门研发中心 ,打开个链接发现要登陆:https://bbs.byr.cn/article/Fujian/457379

发现可以在必应的页面缓存里看到内容,但是点下一页的时候又回到了该网站,要求登陆。问题是不是该学校的无法注册啊……

想了想把爬虫头换成了必应爬虫的头,用requests库爬了一下,内容是正常的网页内容。get。

End.

posted @ 2017-04-18 16:01  林建帆  阅读(662)  评论(0编辑  收藏  举报