S++

千线一眼

导航

2022年3月17日 #

python爬虫-异步协程

摘要: 协程 1. 什么是协程 协程并不是计算机本身提供,而是由程序员人为创造。 协程也可以被称为微线程。是一种用户态上下文切换的技术。简而言之就是一个线程来回切换执行代码块。 协程实现的方法:现在主要推荐使用async和await关键字来实现(py3.6) 2. 协程的意义 在一个线程中,如果遇到IO等待 阅读全文

posted @ 2022-03-17 19:23 S++ 阅读(140) 评论(0) 推荐(0)

python爬虫-异步爬虫

摘要: 前言 **异步爬虫的目的:**提高数据爬取的性能和效率 异步爬虫的方式 多线程/多进程 为相关阻塞的操作单独开启线程或进程,使得阻塞操作可以异步执行。但是由于资源有限,我们并不能无限制的开启多线程或多进程。 线程池/进程池 可以降低系统为了创建和销毁线程或进程而产生的开销。但是池中的线程或进程仍然是 阅读全文

posted @ 2022-03-17 18:08 S++ 阅读(234) 评论(0) 推荐(0)