写一个简单的爬虫 - 如何模拟登录网站

设置Developer Tools 以查看完整的登录过程

如 chrome 的 Developer Tools、firefox 的 httpfox 插件等

推荐 chrome 的 Developer Tools，设置Preserver log 显示完整的跳转过程、Disable cache  禁用缓存

关于浏览器开发工具，可参考：http://jinlong.github.io/2013/08/29/devtoolsecrets/

 

以163的登录过程为例：

tips：如果看到Request Headers里带有Cookie，说明前面还有一步获取Cookie的过程。

分析登录过程

第一步的 https://reg.163.com/logins.jsp，post 的参数有三个，其中有username, password，都是明文的。

试试在 url 后面加上 post 的参数看看会发生什么，https://reg.163.com/logins.jsp?username=abcdefg@163.com&password=1234567（将username, password 换为自己的）直接登录成功。

Tips：有的网站同时支持POST、GET 登录方式

 

登录成功后，保存返回的cookie，后续操作带着该cookie 即可。

有的网站登录时还有验证码等保护措施，不妨直接使用最终跳转页面的 cookie，通常有十几天的保质期，如：

 

原文：http://www.cnblogs.com/congbo/archive/2012/11/04/2753961.html