day10-select IO 多路复用代码实例
一、前言
之前我们讲了select、poll、epoll的介绍，我们今天先来说说select的IO多路复用代码实现。我们先来根据之前图说说select的原理。
这边多说了，想了解更多：猛击这里
二、select的代码实现
Python的select()方法直接调用操作系统的IO接口，它监控sockets,open files, and pipes(所有带fileno()方法的文件句柄)何时变成readable 和writeable, 或者通信错误，select()使得同时监控多个连接变的简单，并且这比写一个长循环来等待和监控多客户端连接要高效，因为select直接通过操作系统提供的C的网络接口进行操作，而不是通过Python的解释器。
注意：Using Python’s file objects with select() works for Unix, but is not supported under Windows.
2.1、select实现非阻塞连接
说明：通过select是非阻塞的，accept和recive都不阻塞了，没有值就会报错。就是说没有连接就不要让它走server.accept()这一步。让select帮助去检测这个100个连接。所以说只要有连接，有活动了，有数据才去accept。服务端代码如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
import select,socketserver = socket.socket()server.bind(("localhost",9000))server.listen(1000)server.setblocking(False) #设置为非阻塞inputs = [server,] #一开始只有自己的连接，所以一开始把自己的连接发到列表中outputs = []while True: #exceptional表示如果inputs列表中出现异常，会输出到这个exceptional中 readable,writeable,exceptional = select.select(inputs,outputs,inputs) # print(readable,writeable,exceptional) for r in readable: if r is server: #代表一个新连接 conn,addr = r.accept() print("来了一个新连接",addr) inputs.append(conn) #因为这个新建立的连接还没有发数据过来，现在就接收的话程序就报错了 #所以要想实现这个客户端发数据过来时server端能知道，就需要让让select再检测这个conn else: data = r.recv(1024) print("收到数据：",data) r.send(data) print("send done....") |
2.2、select用法
select(rlist, wlist, xlist, timeout=None)
- rlist：读列表
- wlist：写列表
- xlist：异常列表
select()方法接收并监控3个通信列表， 第一个是所有的输入的data,就是指外部发过来的数据，第2个是监控和接收所有要发出去的data(outgoing data),第3个监控错误信息，接下来我们需要创建2个列表来包含输入和输出信息来传给select()
|
1
2
3
4
|
#读取连接的列表inputs = [server,] #写入连接的列表outputs = [] |
这个inputs和outputs是什么鬼？
打个比方，就是想让内核帮我去检测100个连接，你传给它一个列表，就是需要检测的列表，就是这个inputs，就是说你想有多少检测的连接放在这个列表里面，然后交给select，就相当于交给内核了。
接下来我们看看上述代码中这行代码的用法：
|
1
|
readable,writeable,exceptional = select.select(inputs,outputs,inputs) |
select中inputs，outputs这个好理解，那么第三个为什么也是inputs呐？
答：这个的意思是如果我inputs列表中有100个连接，这100个连接中有5个断了，出现了异常，就会输入到exceptional里面去，但是这个100个连接存在inputs里面，所以传入inputs。
2.3、inputs列表解释
我们知道用select这种方式，服务端收不到数据式不阻塞的，所以只有当客户端发数据的时候，内核通知你收数据，再把它监测列表中的连接，下一次循坏的时候，如果客户端判断这个连接活了，说明就有数据了。
|
1
2
3
4
5
6
|
for r in readable: if r is server: #代表一个新连接 conn,addr = r.accept() print("来了一个新连接",addr) inputs.append(conn) #因为这个新建立的连接还没有发数据过来，现在就接收的话程序就报错了 #所以要想实现这个客户端发数据过来时server端能知道，就需要让让select再检测这个conn |
代码中的这几行说明，如果是新连接的客户端，就把它加入到inputs列表中，交给select去循环监测。
但是这边有一个问题，我如果发现是新的客户端连接，那么我的inputs列表中判断就是已经存在的连接还是server呐？
答：input中已经有一个server了，在加一个连接的话就是inputs=[server,conn]，两个有一个返回，有100个活动，就有100个连接conn，但是select给我们作了封装，inputs返回的就是一个，如果是conn活跃了，返回的就是conn，底层返回的还是两个，一个是server，一个是conn。但是select内部已经帮我们循环了一遍了，所以返回的这个时候就是conn，用户有可能是server，也有可能是conn，谁活动说不准。如果活动的是conn，说明客户发送数据过来了，你接收数据就行了，如果是server，代表又来了一个新连接，所以我来一个新连接，我就再建立一个新连接，把这个连接放到这个inputs列表中，如果返回的是conn，我就直接接数据。
三、逻辑图
四、IO多路复用升级版
4.1、知识介绍
outputs的功能就是你发给select是什么链接，下次就给你这些链接，这些链接输出到writeable中。
|
1
2
3
|
outputs = []readable,writeable,exceptional = select.select(inputs,outputs,inputs) |
把链接发到outputs中，下一次select的时候，outputs就会把它返回，然后我就可以把它发回去。
4.2、升级版代码
说明：就是我不想立刻发给客户端，需要等一会再发给客户端。那我要等到说明时候呐？我先扔到队列中，一会再发，每一个对了连接单独搞一个队列，放到队列中然后实现下一次循环。
1 import socket,select,queue 2 3 server=socket.socket() 4 server.bind(("localhost",9002)) 5 server.listen(1000) 6 server.setblocking(False) 7 8 inputs=[server] 9 outputs=[] 10 msg_dic={} 11 while True: 12 readable,writeable,exceptional=select.select(inputs,outputs,inputs) 13 print(readable,writeable,exceptional) 14 for r in readable: 15 if r is server: 16 conn,addr=r.accept() 17 print("来了一个新连接",addr) 18 inputs.append(conn) 19 msg_dic[conn]=queue.Queue() #初始化一个队列，后面存要返回给客户端的数据 20 else: 21 data=r.recv(1024) 22 print("收到了数据") 23 msg_dic[r].put(data) 24 25 outputs.append(r) #放入返回的队列连接里。 26 27 for w in writeable: #要返回给客户端的连接列表。 28 data_to_client=msg_dic[w].get() 29 w.send(data_to_client) #返回客户端原数据 30 31 outputs.remove(w) #确保下次循环的时候，writeable,不返回已经处理完的连接 32 33 for e in exceptional: #如果连接断开了 34 if e in outputs: #判断是否在outputs 里 35 outputs.remove(e) #如果有删除 36 inputs.remove(e) #一定在inputs 里 37 38 del msg_dic[e] #删除队列中的
注意：exceptional表示当这个连接出现问题了，那我服务端就不需要检测它了，那就要把链接的实例从inputs里面，outputs里面全都删除掉
4.3、alex的完整代码
Server端
#_*_coding:utf-8_*_
__author__ = 'Alex Li'
import select
import socket
import sys
import queue
server = socket.socket()
server.setblocking(0)
server_addr = ('localhost',10000)
print('starting up on %s port %s' % server_addr)
server.bind(server_addr)
server.listen(5)
inputs = [server, ] #自己也要监测呀,因为server本身也是个fd
outputs = []
message_queues = {}
while True:
print("waiting for next event...")
readable, writeable, exeptional = select.select(inputs,outputs,inputs) #如果没有任何fd就绪,那程序就会一直阻塞在这里
for s in readable: #每个s就是一个socket
if s is server: #别忘记,上面我们server自己也当做一个fd放在了inputs列表里,传给了select,如果这个s是server,代表server这个fd就绪了,
#就是有活动了, 什么情况下它才有活动? 当然 是有新连接进来的时候 呀
#新连接进来了,接受这个连接
conn, client_addr = s.accept()
print("new connection from",client_addr)
conn.setblocking(0)
inputs.append(conn) #为了不阻塞整个程序,我们不会立刻在这里开始接收客户端发来的数据, 把它放到inputs里, 下一次loop时,这个新连接
#就会被交给select去监听,如果这个连接的客户端发来了数据 ,那这个连接的fd在server端就会变成就续的,select就会把这个连接返回,返回到
#readable 列表里,然后你就可以loop readable列表,取出这个连接,开始接收数据了, 下面就是这么干 的
message_queues[conn] = queue.Queue() #接收到客户端的数据后,不立刻返回 ,暂存在队列里,以后发送
else: #s不是server的话,那就只能是一个 与客户端建立的连接的fd了
#客户端的数据过来了,在这接收
data = s.recv(1024)
if data:
print("收到来自[%s]的数据:" % s.getpeername()[0], data)
message_queues[s].put(data) #收到的数据先放到queue里,一会返回给客户端
if s not in outputs:
outputs.append(s) #为了不影响处理与其它客户端的连接 , 这里不立刻返回数据给客户端
else:#如果收不到data代表什么呢? 代表客户端断开了呀
print("客户端断开了",s)
if s in outputs:
outputs.remove(s) #清理已断开的连接
inputs.remove(s) #清理已断开的连接
del message_queues[s] ##清理已断开的连接
for s in writeable:
try :
next_msg = message_queues[s].get_nowait()
except queue.Empty:
print("client [%s]" %s.getpeername()[0], "queue is empty..")
outputs.remove(s)
else:
print("sending msg to [%s]"%s.getpeername()[0], next_msg)
s.send(next_msg.upper())
for s in exeptional:
print("handling exception for ",s.getpeername())
inputs.remove(s)
if s in outputs:
outputs.remove(s)
s.close()
del message_queues[s]
Client端
#_*_coding:utf-8_*_
__author__ = 'Alex Li'
import socket
import sys
messages = [ b'This is the message. ',
b'It will be sent ',
b'in parts.',
]
server_address = ('localhost', 10000)
# Create a TCP/IP socket
socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM),
socket.socket(socket.AF_INET, socket.SOCK_STREAM),
]
# Connect the socket to the port where the server is listening
print('connecting to %s port %s' % server_address)
for s in socks:
s.connect(server_address)
for message in messages:
# Send messages on both sockets
for s in socks:
print('%s: sending "%s"' % (s.getsockname(), message) )
s.send(message)
# Read responses on both sockets
for s in socks:
data = s.recv(1024)
print( '%s: received "%s"' % (s.getsockname(), data) )
if not data:
print(sys.stderr, 'closing socket', s.getsockname() )
浙公网安备 33010602011771号