多任务异步协程实战演练

高性能异步爬虫

• 目的：在爬虫中使用异步实现高性能的数据爬取操作。

异步爬虫的方式

• 多线程，多进程（不建议）：
  好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行。
  弊端：无法无限制的开启多线程或者多进程。

• 线程池、进程池（适当的使用）：
  好处：我们可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。
  弊端：池中线程或进程的数量是有上限。

• 单线程+异步协程（推荐）：
  event_loop：事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，
  当满足某些条件的时候，函数就会被循环执行。

  coroutine：协程对象，我们可以将协程对象注册到事件循环中，它会被事件循环调用。
  我们可以使用 async 关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回
  一个协程对象。

  task：任务，它是对协程对象的进一步封装，包含了任务的各个状态。

  future：代表将来执行或还没有执行的任务，实际上和 task 没有本质区别。

  async 定义一个协程.

  await 用来挂起阻塞方法的执行

使用异步协程方法爬取4k网站图片

代码实现

import requests
from lxml import etree
import time
import os
start = time.time()
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
if not os.path.exists('./libs'):
    os.mkdir('./libs')
url = 'http://pic.netbian.com/4kmeinv/index_%d.html'
a = []
for page in range(2,50):
    new_url = format(url%page)
    page_text = requests.get(url=new_url,headers=headers).text
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//div[@class="slist"]/ul/li')
    for li in li_list:
        img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
        name = img_src.split('/')[-1]
        # data = requests.get(url=img_src).content
        # path = './libs/'+name
        # with open(path,'wb') as fp:
        #     fp.write(data)
        #     print(name,'下载成功')
        a.append(name)
print(len(a))
print('总耗时：',time.time()-start)

  整理自B站UP主：路飞it学城系列教学