摘要：考虑一个问题：如何抓取一个访问受限的网页？如校内好友的主页，个人新鲜事页面等。显然，通过浏览器，我们可以手动输入用户名密码来访问目标页面，所谓“抓取”，只不过需要使用程序来模拟完成同样的工作，因此需要了解“登陆”过程中到底发生了什么。对未登录用户，服务器强制用户跳转到登陆页面，用户键入用户名密码并提交，服务器将用户POST的信息与数据库中信息比对，如通过则跳转至landing page。那么在我们访问其他页面的时候，服务端如何判断我们的身份呢？由于HTTP协议是无状态的，显然，服务器不可能直接知道我们在上一秒刚刚登录成功。最简单的思路，就是用户每个POST请求中，都需要带上用户名与密码来标识自 阅读全文