参考博客:https://www.cnblogs.com/wupeiqi/articles/5354900.html

 一、基本原理

爬虫的基本原理,可分为如下四步:

1、发送请求

   有时需要登录认证,有时不需要

2、获取内容

3、获取url

4、自动递归请求url,重复执行1、2、3

二、安装

1、pip安装

   自动安装相关异步依赖:Twisted

2、在Windows中,需要手动安装相关依赖:pywin32

      安装地址:https://sourceforge.net/projects/pywin32/