python IO多路 IO多路复用+socket实现 协程
1. IO多路复用
IO多路复用作用：检测多个socket是否已经发生变化（是否已经连接成功/是否已经获取数据）(可读/可写)
2. 基于IO多路复用+socket实现并发请求（一个线程100个请求）
IO多路复用 socket非阻塞
基于事件循环实现的异步非阻塞框架:lzl
非阻塞：不等待
异步：执行完某个人物后自动调用我给他的函数。
Python中开源 基于事件循环实现的异步非阻塞框架 Twisted
3.IO多路复用作用？
检测多个socket是否发生变化。
操作系统检测socket是否发生变化，有三种模式：
select：最多1024个socket；循环去检测。
poll：不限制监听socket个数；循环去检测（水平触发）。
epoll：不限制监听socket个数；回调方式（边缘触发）。
Python模块：
select.select
select.epoll
4.提高并发方案 :
多进程
多线程
异步非阻塞模块 （Twisted） scrapy框架（单线程完成并发）的大V大V
5.什么是异步非阻塞?
非阻塞 , 不等待
比如创建socket对某个地址进行connect、获取接收数据recv时默认都会等待（连接成功或接收到数据），才执行后续操作。
如果设置setblocking(False),以上两个过程就不再等待，但是会报BlockingIOError的错误，只要捕获即可。
异步，通知，执行完成之后自动执行回调函数或自动执行某些操作（通知）。
比如做爬虫中向某个地址baidu.com发送请求，当请求执行完成之后自执行回调函数。
6.什么是同步阻塞 ?
阻塞 : 等
同步 : 按照顺序逐步执行
3. 协程
感念 :
进程 , 操作系统中不存在
线程 , 操作系统中不存在
协程 , 是由程序员创造出来的一个不是真实存在的东西
协程 : 是微线程,对一个线程进程分片 , 使得线程在代码块之间来回切换执行 , 而不是在原来逐行执行 。
注意 : 单纯的协程无用
协程 + 遇到IO就切换 pip3 install gevent
代码中遇到 IO 都会自动执行 greenlet 的switch 进行切换
from gevent import monkey monkey.patch_all() # 以后代码中遇到IO都会自动执行greenlet的switch进行切换 import requests import gevent def get_page1(url): ret = requests.get(url) print(url,ret.content) def get_page2(url): ret = requests.get(url) print(url,ret.content) def get_page3(url): ret = requests.get(url) print(url,ret.content) gevent.joinall([ gevent.spawn(get_page1, 'https://www.python.org/'), # 协程1 gevent.spawn(get_page2, 'https://www.yahoo.com/'), # 协程2 gevent.spawn(get_page3, 'https://github.com/'), # 协程3 ])
1.什么是协程 :
协程可以称为"微线程" , 就是开发者控制线程执行流程 , 控制先执行某段代码然后在切换到另外执行代码....来回切换
2.协程可以提高并发吗 :
协程自己本身无法实现并发(可能性能会降低)
协程 + IO切换性能高
3.单线程提供并发 :
协程 IO 切换 (gevent)
基于事件循坏的异步非阻塞框架 : Twisted
手动实现协程 : yield关键字生成器
def f1(): print(11) yield print(22) yield print(33) def f2(): print(55) yield print(66) yield print(77) v1 = f1() v2 = f2() next(v1) # v1.send(None) next(v2) # v1.send(None) next(v1) # v1.send(None) next(v2) # v1.send(None) next(v1) # v1.send(None) next(v2) # v1.send(None)
4. 进程 , 线程 , 协程的区别 ?
进程 :是资源分配的最小单元 , 其作用是进行数据隔离 ,
线程 :是cpu调度的最小单元 , 其作用主要是执行某个任务,
后来程序员为了让代码更牛逼 , 创建了协程 , 协程本身不存在 , 是程序员自己创造出来的 ,
协程 : 可以对代码的执行顺序进行控制 , 本身协程存在没有意义 , 但是协程要是和IO放在一起 就很牛逼。
遇到IO操作就切换 , 相当于把一个线程分片 , 所达到的效果是线程一直没有停 , 一直在工作 ,
这就是进程 , 线程 , 协程 , 的本质区别 , 在python中用协程的时候会有一个模块叫greenlet ,
协程加IO自动切换的模块叫gevent
一个应用程序可以有多个进程 , 一个进程可以有多个线程 ,
其他语言几乎很少用进程 , 都是用线程 ,
对于python来说 : IO操作主要用多线程实现 , 计算密集型操作主要是用多进程实现 。
主要原因 : python中存在GIL锁 , GIL锁的作用就是保证一个进程中同一时刻只有一个线程被cpu调度
所以在python中想要利用cpu的多核优势就是开多个进程 。
5.异步非阻塞
6.IO多路复用
作用: 可以监听所有的IO请求状态 。
三种模式 :
select
poll
epoll
