异步爬虫分析

高性能异步爬虫
目的:在爬虫中使用异步实现高性能的数据爬取操作.

异步爬虫的方式:
- 多进程 多线程(不建议)
好处:可以为相关阻塞的操作单独开启进程或者线程,阻塞操作就可以异步执行
弊端:无法无限制的开启多线程,多进程

- 线程池&进程池(适当使用)
    好处: 可以降低系统对进程或者线程创建和销毁的一个频率,从而很好的降低系统的开销
    弊端: 池中线程或者进程的数量是有上限的.

• 3 单线程&异步协程(推荐):
  event_loop: 事件循坏,

  coroutine: 协程对象

  task: 任务

  future: 表达将来执行或还没有执行的任务

  async 定义一个协程

  await 用来挂起阻塞方法的执行