摘要：一、使用cookie进行登录验证 由于http是无状态的协议，因此每次发起一个请求http请求的时候，服务器都不知道你之前是否发过请求，举个简单的例子。这样对于需要登录认证的请求而言，每次请求的时候都需要重新输入认证信息，这样显然让用户很不爽，我们可以使用cookie来解决这个问题，具体原理为：用户 阅读全文

摘要：一、环境搭建 Scrapy是一个比较好的爬虫框架，本次，我们学习一下，使用Scrapy框架来创建一个爬虫项目，并通过一个简单的例子演示一下。 第一步：安装依赖。首先先保证已经安装了python，pip。然后使用pip进行一下依赖的安装，顺序为： 1、wheel 2、 lxml 3、PyOpenssl 阅读全文