爬虫程序获取登录Cookie信息时遇到302,怎么处理

    最近要做个爬虫程序爬爬东西,先搞定登录授权这块,没得源代码,所以只能自行搞定了,按平时的直接发起HttpWebRequest(req)请求,带上用户名密码,好了,然后

HttpWebResponse rep = (HttpWebResponse)request.GetResponse()之后就可以获取cookie了,接着req.Headers里面就带上了我需要的cookie了,req.Headers["Cookie"],

卧槽……唉,没有,怎么回事,经查发现里面有个302跳转,坑了,查了查资料,来了个req.AllowAutoRedirect = false阻止它重定向,这时可以看到rep. StatusCode 会=

HttpStatusCode.Redirect,如果没有上面那句req.AllowAutoRedirect=false,这里就没有这个状态了,也就没有rep.Headers["Location"]里面的信息了,里面有重定向的url和

那个登录cookie以分号隔开的。

posted @ 2017-04-13 11:08  虚风客  阅读(1183)  评论(0编辑  收藏  举报