socket编程
端口号 0-65535 1024-65535可以自己用
socket.getaddrinfo(url, None) # 由url得到ip socket.inet_aton(ip) socket.inet_ntoa(xx) inet_aton() -- convert IP addr string (123.45.67.89) to 32-bit packed format
# 将IP地址字符串（123.45.67.89）打包转换为32位格式 inet_ntoa() -- convert 32-bit packed format IP to string (123.45.67.89)
一 客户端/服务器架构
c/s架构
server端要：
1、力求一直提供服务
2、要绑定一个唯一的地址（IP和端口，IP确定唯一一台主机，端口确定主机上的唯一的软件），让客户端能明确找到
二 osi五层
数据链路层：以太网协议，进行数据分组，head部分包含mac地址，有了mac地址在子网内就可以以广播的方式通信
网络层：基于IP协议，arp协议
传输层：tcp、udp协议
三 socket层
四 socket是什么
Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。
所以，我们无需深入理解tcp/udp协议，socket已经为我们封装好了，我们只需要遵循socket的规定去编程，写出的程序自然就是遵循tcp/udp标准的。
也有人将socket说成ip+port，ip是用来标识互联网中的一台主机的位置，而port是用来标识这台机器上的一个应用程序，ip地址是配置到网卡上的，而port是应用程序开启的，ip与port的绑定就标识了互联网中独一无二的一个应用程序，而程序的pid是同一台机器上不同进程或者线程的标识
五 套接字发展史及分类
基于文件类型的套接字家族：套接字家族的名字：AF_UNIX
基于网络类型的套接字家族：套接字家族的名字：AF_INET
六 套接字工作流程
先从服务器端说起。服务器端先初始化Socket，然后与端口绑定(bind)，对端口进行监听(listen)，调用accept阻塞，等待客户端连接。在这时如果有个客户端初始化一个Socket，然后连接服务器(connect)，如果连接成功，这时客户端与服务器端的连接就建立了。客户端发送数据请求，服务器端接收请求并处理请求，然后把回应数据发送给客户端，客户端读取数据，最后关闭连接，一次交互结束
socket()模块函数用法
import socket socket.socket(socket_family,socket_type,protocal=0) socket_family 可以是 AF_INET 或 AF_UNIX socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM protocol 一般不填,默认值为 0。 获取tcp/ip套接字 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 获取udp/ip套接字 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',
我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。 例如tcpSock = socket(AF_INET, SOCK_STREAM)
服务端套接字函数
s.bind() 绑定(主机,端口号)到套接字
s.listen() 开始TCP监听
s.accept() 被动接受TCP客户的连接,(阻塞式)等待连接的到来
客户端套接字函数
s.connect() 主动初始化TCP服务器连接
s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
公共用途的套接字函数
s.recv() 接收TCP数据
s.send() 发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
s.sendall() 发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
s.recvfrom() 接收UDP数据
s.sendto() 发送UDP数据
s.getpeername() 连接到当前套接字的远端的地址
s.getsockname() 当前套接字的地址
s.getsockopt() 返回指定套接字的参数
s.setsockopt() 设置指定套接字的参数
s.close() 关闭套接字
面向锁的套接字方法
s.setblocking() 设置套接字的阻塞与非阻塞模式
s.settimeout() 设置阻塞套接字操作的超时时间
s.gettimeout() 得到阻塞套接字操作的超时时间
面向文件的套接字的函数
s.fileno() 套接字的文件描述符
s.makefile() 创建一个与该套接字相关的文件
七 基于TCP的套接字
tcp服务端
ss = socket() #创建服务器套接字 ss.bind() #把地址绑定到套接字 ss.listen() #监听链接 inf_loop: #服务器无限循环 cs = ss.accept() #接受客户端链接 comm_loop: #通讯循环 cs.recv()/cs.send() #对话(接收与发送) cs.close() #关闭客户端套接字 ss.close() #关闭服务器套接字(可选)
tcp客户端
cs = socket() # 创建客户套接字 cs.connect() # 尝试连接服务器 comm_loop: # 通讯循环 cs.send()/cs.recv() # 对话(发送/接收) cs.close() # 关闭客户套接字
socket通信流程与打电话流程类似，我们就以打电话为例来实现一个low版的套接字通信：
#服务端
import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#socket.AF_INET 基于网络的套接字，socket.SOCK_STREAM基于TCP协议的套接字 买手机 phone.bind(('127.0.0.1',8080)) #绑定手机卡 phone.listen(5) #开机
conn,addr=phone.accept() #等待电话链接，连接的对象和客户端地址
print('电话线路是',conn) print('客户端的手机号是',addr)
data=conn.recv(1024) #收消息
conn.send(data.upper())
conn.close() #挂电话
phone.close() #手机关机
#客户端
import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.connect(('127.0.0.1',8080))
data=phone.recv(1024)
print(data)
phone.close()
上述流程的问题是，服务端只能接受一次链接，然后就彻底关闭掉了，实际情况应该是，服务端不断接受链接，然后循环通信，通信完毕后只关闭链接，服务器能够继续接收下一次链接，下面是修改版：
#服务端
import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机 phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #在bind前加，重启释放地址 phone.bind(('127.0.0.1',8080)) #绑定手机卡 phone.listen(5) #开机，在缓存中可以缓存5个连接请求 print('starting....') while True: #链接循环 conn,addr=phone.accept() #等待电话链接 print('电话线路是',conn) print('客户端的手机号是',addr) while True: #通信循环 try: #应对windows系统 data=conn.recv(1024) #收消息，最大一次接受1024个字节 #if not data:break #linux系统中，客户端断了链接会date接收空，服务端陷入循环 print('客户端发来的消息是',data) conn.send(data.upper()) except Exception：#如果客户端断开，跳出通信循环:
break conn.close(）#关闭通信 phone.close()#关闭链接
#客户端
import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.connect(('127.0.0.1',8080)) while True: #通信循环 msg=input('>>: ').strip() if not msg:continue phone.send(msg.encode('utf-8')) data=phone.recv(1024) print(data) phone.close()
问题：
有的同学在重启服务端时可能会遇到
这个是由于你的服务端仍然存在四次挥手的time_wait状态在占用地址（如果不懂，请深入研究1.tcp三次握手，四次挥手 2.syn洪水攻击 3.服务器高并发情况下会有大量的time_wait状态的优化方法）
解决方法：
#加入一条socket配置，重用ip和端口 phone=socket(AF_INET,SOCK_STREAM) phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080))
发现系统存在大量TIME_WAIT状态的连接，通过调整linux内核参数解决， vi /etc/sysctl.conf 编辑文件，加入以下内容： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30 然后执行 /sbin/sysctl -p 让参数生效。 net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭； net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭； net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。 net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间
八 基于UDP的套接字
udp服务端
ss = socket() #创建一个服务器的套接字 ss.bind() #绑定服务器套接字 inf_loop: #服务器无限循环 cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送) ss.close() # 关闭服务器套接字
udp客户端
cs = socket() # 创建客户套接字 comm_loop: # 通讯循环 cs.sendto()/cs.recvfrom() # 对话(发送/接收) cs.close() # 关闭客户套接字
udp套接字简单示例
import socket udpserver=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) udpserver.bind(('127.0.0.1',8080)) #udp中是没有listen（挂起链接），因为udp是无连接的，面向消息的，所以链接循坏也没有了 while True: #通讯循环 data,client_addr=udpserver.recvfrom(1024) #收到客户端的数据，IP地址和端口 print('======>',data.decode('utf-8')) print(client_addr) # msg=input('>>: ') udpserver.sendto(data.upper(),client_addr)
import socket udpclient=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) server_ip_port=('127.0.0.1',8080) while True: inp=input(">>: ") udpclient.sendto(inp.encode('utf-8'),server_ip_port) data,server_addr=udpclient.recvfrom(1024) #接收服务端的发送的数据，服务端的IP地址和端口 print(data.decode('utf-8'))
基于udp的socketserver
import socketserver class FtpServer(socketserver.BaseRequestHandler): def handle(self): print(self.request[0]) #收到客户端的消息 print(self.request[1]) #服务端的套接字对象 self.request[1].sendto('嘎嘎嘎'.encode('utf-8'),self.client_address) #向客户端发送消息 if __name__ == '__main__': obj=socketserver.ThreadingUDPServer(('127.0.0.1',8080),FtpServer) obj.serve_forever()
import socket udpclient=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) server_ip_port=('127.0.0.1',8080) while True: inp=input(">>: ") udpclient.sendto(inp.encode('utf-8'),server_ip_port) data,server_addr=udpclient.recvfrom(1024) print(data.decode('utf-8'))
qq聊天(由于udp无连接，所以可以同时多个客户端去跟服务端通信)
#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket ip_port=('127.0.0.1',8081) udp_server_sock=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) #买手机 udp_server_sock.bind(ip_port) while True: qq_msg,addr=udp_server_sock.recvfrom(1024) print('来自[%s:%s]的一条消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],qq_msg.decode('utf-8'))) back_msg=input('回复消息: ').strip() udp_server_sock.sendto(back_msg.encode('utf-8'),addr)
#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket BUFSIZE=1024 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) qq_name_dic={ '狗哥alex':('127.0.0.1',8081), '瞎驴':('127.0.0.1',8081), '一棵树':('127.0.0.1',8081), '武大郎':('127.0.0.1',8081), } while True: qq_name=input('请选择聊天对象: ').strip() while True: msg=input('请输入消息,回车发送: ').strip() if msg == 'quit':break if not msg or not qq_name or qq_name not in qq_name_dic:continue udp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name]) back_msg,addr=udp_client_socket.recvfrom(BUFSIZE) print('来自[%s:%s]的一条消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8'))) udp_client_socket.close()
#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket BUFSIZE=1024 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) qq_name_dic={ '狗哥alex':('127.0.0.1',8081), '瞎驴':('127.0.0.1',8081), '一棵树':('127.0.0.1',8081), '武大郎':('127.0.0.1',8081), } while True: qq_name=input('请选择聊天对象: ').strip() while True: msg=input('请输入消息,回车发送: ').strip() if msg == 'quit':break if not msg or not qq_name or qq_name not in qq_name_dic:continue udp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name]) back_msg,addr=udp_client_socket.recvfrom(BUFSIZE) print('来自[%s:%s]的一条消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8'))) udp_client_socket.close()
时间服务器
#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * from time import strftime ip_port=('127.0.0.1',9000) bufsize=1024 tcp_server=socket(AF_INET,SOCK_DGRAM) tcp_server.bind(ip_port) while True: msg,addr=tcp_server.recvfrom(bufsize) print('===>',msg) if not msg: time_fmt='%Y-%m-%d %X' else: time_fmt=msg.decode('utf-8') back_msg=strftime(time_fmt) tcp_server.sendto(back_msg.encode('utf-8'),addr) tcp_server.close()
#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * ip_port=('127.0.0.1',9000) bufsize=1024 tcp_client=socket(AF_INET,SOCK_DGRAM) while True: msg=input('请输入时间格式(例%Y %m %d)>>: ').strip() tcp_client.sendto(msg.encode('utf-8'),ip_port) data=tcp_client.recv(bufsize) print(data.decode('utf-8')) tcp_client.close()
九 recv与recvfrom的区别
============part1：须知============
收发消息的原理须知晓--->请见十一的图：发消息，都是将数据发送到己端的发送缓冲中，收消息都是从己端的缓冲区中收
1. tcp：send发消息，recv收消息
2. udp：sendto发消息，recvfrom收消息
十 粘包现象
让我们基于tcp先制作一个远程执行命令的程序（1：执行错误命令 2：执行ls 3：执行ifconfig）
注意注意注意：
res=subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)
的结果的编码是以当前所在的系统为准的，如果是windows，那么res.stdout.read()读出的就是GBK编码的，在接收端需要用GBK解码，如果是lunix,那么res.stdout.read()读出的就是UTF-8编码的，且只能从管道里读一次结果。
import socket import subprocess ssh=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #建立ssh服务 ssh.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加，重启释放 ssh.bind(('127.0.0.1',8080)) #绑定IP和端口地址 ssh.listen(5) #开机，最多允许5个客户端请求在缓存 while True: #链接循环,客户端断开链接后，再次请求链接 conn,addr=ssh.accept() #等待电话链接 print('电话线路是', conn) print('客户端的手机号是', addr) while True: #通信循环 try: #应对windows系统 data1=conn.recv(1024).decode("utf-8") #收消息 if not data1:break #应对linux系统了，陷入死循环 res = subprocess.Popen(data1, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) right = res.stdout.read() error = res.stderr.read() if not error: conn.send(right) elif error: conn.send(error) except Exception: #如果客户端断开链接，跳出通信循环 break conn.close()#关闭通信 ssh.close()# 关闭链接
import socket ssh=socket.socket(socket.AF_INET,socket.SOCK_STREAM) ssh.connect(('127.0.0.1',8080)) while True: #通信循环 msg=input('>>: ').strip() if not msg:continue ssh.send(msg.encode('utf-8')) print('has send===========>') data=ssh.recv(1024).decode("GBK") print('has recv===========>') print(data) ssh.close()
上述程序是基于tcp的socket，在运行时会发生粘包
十一 什么是粘包
须知：只有TCP有粘包现象，UDP永远不会粘包，为何，且听我娓娓道来
首先需要掌握一个socket收发消息的原理
TCP协议是面向流的协议，这也是容易出现粘包问题的原因。而UDP是面向消息的协议，每个UDP段都是一条消息，应用程序必须以消息为单位提取数据，不能一次提取任意字节的数据，这一点和TCP是很不同的。定义消息可以认为对方一次性write/send的数据为一个消息，需要明白的是当对方send一条信息的时候，无论底层怎样分段分片，TCP协议层会把构成整条消息的数据段排序完成后才呈现在内核缓冲区。
例如基于tcp的套接字客户端往服务端上传文件，发送时文件内容是按照一段一段的字节流发送的，在接收方看了，根本不知道该文件的字节流从何处开始，在何处结束。
所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。
此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。
- TCP（transport control protocol，传输控制协议）是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
- UDP（user datagram protocol，用户数据报协议）是无连接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
- tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），那也不是空消息，udp协议会帮你封装上消息头。
udp的recvfrom是阻塞的，一个recvfrom(x)必须对应一个一个sendinto(y),收完了x个字节的数据就算完成,若是y>x数据就丢失，这意味着udp根本不会粘包，但是会丢数据，不可靠。
tcp的协议数据不会丢，没有收完包，下次接收，会继续上次继续接收，己端总是在收到ack时才会清除缓冲区内容。数据是可靠的，但是会粘包。
两种情况下会发生粘包
发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据了很小，会合到一起，产生粘包）
from socket import * ip_port=('127.0.0.1',8080) tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5) conn,addr=tcp_socket_server.accept() data1=conn.recv(10) data2=conn.recv(10) #客户端发送过来的信息没有超过10个字节，第一次就接收完，第二次接收为空 print('----->',data1.decode('utf-8')) print('----->',data2.decode('utf-8')) conn.close()测试服务单
import socket BUFSIZE=1024 ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port) s.send('hello'.encode('utf-8')) s.send('feng'.encode('utf-8')) #两次发送，在客户端缓存合并一起发送到服务端缓存
接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）
from socket import * ip_port=('127.0.0.1',8080) tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5) conn,addr=tcp_socket_server.accept() data1=conn.recv(2) #一次没有收完整 data2=conn.recv(10)#下次收的时候,会先取旧的数据,然后取新的 print('----->',data1.decode('utf-8')) print('----->',data2.decode('utf-8')) conn.close()
import socket BUFSIZE=1024 ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port) s.send('hello feng'.encode('utf-8'))
拆包的发生情况
当发送端缓冲区的长度大于网卡的MTU时，tcp会将这次发送的数据拆成几个数据包发送出去。
补充问题一：为何tcp是可靠传输，udp是不可靠传输
基于tcp的数据传输请参考http://www.cnblogs.com/linhaifeng/articles/5937962.html，tcp在数据传输时，发送端先把数据发送到自己的缓存中，然后协议控制将缓存中的数据发往对端，对端返回一个ack=1，发送端则清理缓存中的数据，对端返回ack=0，则重新发送数据，所以tcp是可靠的
而udp发送数据，对端是不会返回确认信息的，因此不可靠
补充问题二：recv(1024)和send(字节流)及sendall
recv里指定的1024意思是从缓存里一次拿出1024个字节的数据
send的字节流是先放入己端缓存，然后由协议控制将缓存内容发往对端，如果待发送的字节流大小大于缓存剩余空间，那么数据丢失，用sendall就会循环调用send，数据不会丢失。
十二 解决粘包的low比处理方法
问题的根源在于，接收端不知道发送端将要传送的字节流的长度，所以解决粘包的方法就是围绕，如何让发送端在发送数据前，把自己将要发送的字节流总大小让接收端知晓，然后接收端来一个死循环接收完所有数据
low版本的解决方法
import socket,subprocess ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) s.bind(ip_port) s.listen(5) while True: conn,addr=s.accept() print('客户端',addr) while True: msg=conn.recv(1024) if not msg:break res=subprocess.Popen(msg.decode('utf-8'),shell=True,\ stdin=subprocess.PIPE,\ stderr=subprocess.PIPE,\ stdout=subprocess.PIPE) err=res.stderr.read() if err: ret=err else: ret=res.stdout.read() data_length=len(ret) conn.send(str(data_length).encode('utf-8'))#先将信息长度发送到客户端 data=conn.recv(1024).decode('utf-8')#客户端接收到信息长度，向服务端返回确认值。 if data == 'recv_ready':#服务端接收到客户端确认值，开始向服务端发送信息 conn.sendall(ret) conn.close()
import socket,time s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080)) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) length=int(s.recv(1024).decode('utf-8'))#接收到服务端准备发送的信息长度 s.send('recv_ready'.encode('utf-8')) #向服务端发送确认信息，准备接收服务端发送的信息。 recv_size=0 data=b'' while recv_size < length: #不断接收信息，直到信息长度大于接收到的长度，跳出循环 data+=s.recv(1024) recv_size+=len(data) print(data.decode('utf-8'))
为何low：
程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网络延迟带来的性能损耗。
十三 解决粘包的高效方法
为字节流加上自定义固定长度报头，报头中包含字节流长度，然后一次send到对端，对端在接收时，先从缓存中取出定长的报头，然后再取真实数据
struct模块
该模块可以把一个类型，如数字，转成固定长度的bytes。
该模块可以把一个类型，如数字，转成固定长度的bytes
>>> struct.pack('i',1111111111111)
struct.error: 'i' format requires -2147483648 <= number <= 2147483647 #这个是范围
用struct模块解决：struct能将数字转换成bytes格式
import socket,subprocess import struct ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) s.bind(ip_port) s.listen(5) while True: conn,addr=s.accept() print('客户端',addr) while True: msg=conn.recv(1024) if not msg:break res=subprocess.Popen(msg.decode('utf-8'),shell=True,\ stdin=subprocess.PIPE,\ stderr=subprocess.PIPE,\ stdout=subprocess.PIPE) err=res.stderr.read() out=res.stdout.read() date_size=(len(err)+len(out)) #发送报头 conn.send(struct.pack("i",date_size)) conn.send(err) conn.send(out) conn.close() s.close()
import socket,time import struct s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080)) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) baotou=s.sev(4) date_size=struct.unpack("i",baotou)[0] recv_size=0 data=b'' while recv_size < date_size: #不断接收信息，直到信息长度大于接收到的长度，跳出循环 data+=s.recv(1024) recv_size+=len(data) print(data.decode('utf-8'))
如果文件很大，struct将文件信息长度转换成bytes可能不成功，超出转换范围，而且报头不应该只包含数字，还可能包含hash值，文件名，这时struct模块就不好使了。这时可以考虑json序列化，将上述信息放入字典进行序列化。
用struct模块和json模块解决：
我们可以把报头做成字典，字典里包含将要发送的真实数据的详细信息，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节（4个自己足够用了）
发送时：
先发报头长度
再编码报头内容然后发送
最后发真实内容
接收时：
先手报头长度，用struct取出来
根据取出的长度收取报头内容，然后解码，反序列化
从反序列化的结果中取出待取数据的详细信息，然后去取真实的数据内容
import socket,struct,json import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080)) phone.listen(5) while True: conn,addr=phone.accept() while True: cmd=conn.recv(1024) if not cmd:break print('cmd: %s' %cmd) res=subprocess.Popen(cmd.decode('utf-8'), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) err=res.stderr.read() out=res.stdout.read() date_size=len(out)+len(err) #获取要发送的数据长度 headers={'data_size':date_size} #将要发送的数据长度写入字典 head_json=json.dumps(headers) #将字典json序列化 head_json_bytes=head_json.encoding('utf-8') #第一步：将字典信息制作为固定长度发送到客户端 head_len=len(head_json_bytes) conn.send(struct.pack('i',head_len)) #第二步：再发字典给客户端，让客户端解析字典里面的要接收的数据长度 conn.send(head_json_bytes) #第三步：发送数据部分 conn.send(out) conn.send(err) conn.close() phone.close()
from socket import * import struct,json ip_port=('127.0.0.1',8080) client=socket(AF_INET,SOCK_STREAM) client.connect(ip_port) while True: cmd=input('>>: ') if not cmd:continue client.send(bytes(cmd,encoding='utf-8')) #第一步：先收服务端报头，里面包含字典长度 head=client.recv(4) head_json_len=struct.unpack('i',head)[0] #得到报头里的字典长度 #第二步：再取字典反序列化 heaa_bytes=client.recv(head_json_len)#获取字典 head_json=json.loads(heaa_bytes.decode('utf-8'))#字典反序列化 #第三步：获取数据的长度 data_len=head_json['data_size'] recv_size=0 recv_data=b'' while recv_size < data_len: recv_data+=client.recv(1024) recv_size+=len(recv_data) print(recv_data.decode('utf-8')) #print(recv_data.decode('gbk')) #windows默认gbk编码
###FTP上传文件
import socket #套接字模块 import struct #格式转换模块 import json #轻量级数据交换格式模块 import subprocess #管理子进程模块 import os #交互模块 class MYTCPServer: address_family = socket.AF_INET # 地址家族=基于网页的套接字 socket_type = socket.SOCK_STREAM # 套接字类型 allow_reuse_address = False # 允许重用地址 max_packet_size = 8192 # 最大包获取数 coding = 'utf-8' request_queue_size = 5 # 请求队列数 server_dir='file_upload' #上传路径 def __init__(self, server_address, bind_and_activate=True): #服务端地址，绑定IP和端口并开始TCP监听 """Constructor. May be extended, do not override.""" self.server_address=server_address self.socket = socket.socket(self.address_family, self.socket_type) if bind_and_activate: try: self.server_bind() #绑定IP地址和端口到套接字 self.server_activate()#开始TCP监听 except: self.server_close() #出现异常，关闭套接字 raise def server_bind(self): #绑定IP地址和端口到套接字 """Called by constructor to bind the socket. """ if self.allow_reuse_address:#如果允许重用地址 self.socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) self.socket.bind(self.server_address) #绑定IP地址和端口到套接字 self.server_address = self.socket.getsockname() #绑定IP地址和端口到套接字后，通过套接字获取IP地址和端口(脑残) def server_activate(self): #开始TCP监听 """Called by constructor to activate the server. """ self.socket.listen(self.request_queue_size) def server_close(self): #关闭套接字 """Called to clean-up the server. """ self.socket.close() def get_request(self): #被动接受TCP客户的连接,(阻塞式)等待连接的到来 """Get the request and client address from the socket. """ return self.socket.accept() def close_request(self, request): #关闭链接 """Called to clean up an individual request.""" request.close() def run(self): while True: #链接循环 self.conn,self.client_addr=self.get_request() #链接对象、链接对象的IP地址 = 等待TCP客户端的链接 print('from client ',self.client_addr) while True:#通信循环 try: head_struct = self.conn.recv(4) #接收字典信息制作的固定长度的信息 if not head_struct:break head_len = struct.unpack('i', head_struct)[0] #解出字典信息的长度 head_json = self.conn.recv(head_len).decode(self.coding)#接收字典信息 head_dic = json.loads(head_json)#反序列化字典信息 print(head_dic) #head_dic={'cmd':'put','filename':'a.txt','filesize':123123} cmd=head_dic['cmd'] if hasattr(self,cmd):#判断有没有这个属性，例如put func=getattr(self,cmd) #获取这个属性 func(head_dic) #执行这个属性 except Exception: break def put(self,args): file_path=os.path.normpath(os.path.join( self.server_dir, args['filename'] ))#规范化路径（拼接路径，将服务端的默认路径和上传的文件名进行拼接） filesize=args['filesize'] recv_size=0 print('----->',file_path) with open(file_path,'wb') as f: while recv_size < filesize: recv_data=self.conn.recv(self.max_packet_size) f.write(recv_data) recv_size+=len(recv_data) print('recvsize:%s filesize:%s' %(recv_size,filesize)) tcpserver1=MYTCPServer(('127.0.0.1',8080)) tcpserver1.run()
import socket import struct import json import os class MYTCPClient: address_family = socket.AF_INET #地址家族=基于网页的套接字 socket_type = socket.SOCK_STREAM #套接字类型 allow_reuse_address = False #允许重用地址 max_packet_size = 8192 #最大包获取数 coding='utf-8' request_queue_size = 5 #请求队列数 def __init__(self, server_address, connect=True): self.server_address=server_address #服务端地址 self.socket = socket.socket(self.address_family, self.socket_type) if connect: try: self.client_connect() except: self.client_close() raise def client_connect(self): #主动初始化TCP服务器连接 self.socket.connect(self.server_address) def client_close(self): self.socket.close() def run(self): while True: inp=input(">>: ").strip() #输入命令 文件名 if not inp:continue l=inp.split() cmd=l[0] #获取命令 if hasattr(self,cmd): func=getattr(self,cmd) func(l) def put(self,args): cmd=args[0] filename=args[1] if not os.path.isfile(filename):#判断文件存在不存在 print('file:%s is not exists' %filename) return else: filesize=os.path.getsize(filename) #如果存在，获取文件的大小 head_dic={'cmd':cmd,'filename':os.path.basename(filename),'filesize':filesize} #os.path.basename根据路径取文件名 print(head_dic) #第一步：将字典信息制作成固定长度发送到服务端 head_json=json.dumps(head_dic) head_json_bytes=bytes(head_json,encoding=self.coding) head_struct=struct.pack('i',len(head_json_bytes)) self.socket.send(head_struct) #第二步：发送字典信息 self.socket.send(head_json_bytes) #第三步：发送文件信息 send_size=0 with open(filename,'rb') as f: for line in f: self.socket.send(line) send_size+=len(line) print(send_size) else: print('upload successful') client=MYTCPClient(('127.0.0.1',8080)) client.run()
十五 socketserver实现并发
基于tcp的套接字，关键就是两个循环，一个链接循环，一个通信循环
socketserver模块中分两大类：server类（解决链接问题）和request类（解决通信问题）
server类：
request类：
继承关系:
TCP并发
import socketserver #Ftpserver(conn, client_addr, obj) class FTPserver(socketserver.BaseRequestHandler): #通讯 def handle(self): #建立链接 print(self.request) #打印套接字对象，相当于上面的conn while True:#建立通信循环 data=self.request.recv(1024) print(data) self.request.send(data.upper()) if __name__ == '__main__': obj=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FTPserver) #建立链接，开启多线程 print(obj.server_address) print(obj.RequestHandlerClass) print(obj.socket) obj.serve_forever() #链接循环
import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.connect(('127.0.0.1',8080)) while True: #通信循环 msg=input('>>: ').strip() if not msg:continue phone.send(msg.encode('utf-8')) # print('has send===========>') data=phone.recv(1024) # print('has recv===========>') print(data) phone.close()
TCP并发上传文件
import socketserver import struct import json import subprocess import os class MYTCPServer(socketserver.BaseRequestHandler): max_packet_size = 8192 coding='utf-8' BASE_DIR=os.path.dirname(os.path.abspath(__file__)) server_dir='file_upload' def handle(self): while True: try: head_struct = self.request.recv(4) if not head_struct:break head_len = struct.unpack('i', head_struct)[0] head_json = self.request.recv(head_len).decode(self.coding) head_dic = json.loads(head_json) print(head_dic) #head_dic={'cmd':'put','filename':'a.txt','filesize':123123} cmd=head_dic['cmd'] if hasattr(self,cmd): func=getattr(self,cmd) func(head_dic) except Exception: break def put(self,args): file_path=os.path.normpath(os.path.join( self.BASE_DIR, self.server_dir, args['filename'] )) filesize=args['filesize'] recv_size=0 print('----->',file_path) with open(file_path,'wb') as f: while recv_size < filesize: recv_data=self.request.recv(self.max_packet_size) f.write(recv_data) recv_size+=len(recv_data) print('recvsize:%s filesize:%s' %(recv_size,filesize)) if __name__ == '__main__': obj=socketserver.ThreadingTCPServer(('127.0.0.1',8080),MYTCPServer) obj.serve_forever()
import socket import struct import json import os class MYTCPClient: address_family = socket.AF_INET socket_type = socket.SOCK_STREAM allow_reuse_address = False max_packet_size = 8192 coding='utf-8' request_queue_size = 5 def __init__(self, server_address, connect=True): self.server_address=server_address self.socket = socket.socket(self.address_family, self.socket_type) if connect: try: self.client_connect() except: self.client_close() raise def client_connect(self): self.socket.connect(self.server_address) def client_close(self): self.socket.close() def run(self): while True: inp=input(">>: ").strip() if not inp:continue l=inp.split() cmd=l[0] if hasattr(self,cmd): func=getattr(self,cmd) func(l) def put(self,args): cmd=args[0] filename=args[1] if not os.path.isfile(filename): print('file:%s is not exists' %filename) return else: filesize=os.path.getsize(filename) head_dic={'cmd':cmd,'filename':os.path.basename(filename),'filesize':filesize} print(head_dic) head_json=json.dumps(head_dic) head_json_bytes=bytes(head_json,encoding=self.coding) head_struct=struct.pack('i',len(head_json_bytes)) self.socket.send(head_struct) self.socket.send(head_json_bytes) send_size=0 with open(filename,'rb') as f: for line in f: self.socket.send(line) send_size+=len(line) print(send_size) else: print('upload successful') client=MYTCPClient(('127.0.0.1',8080)) client.run()
以下述代码为例，分析socketserver源码：
obj=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)
ftpserver.serve_forever()
查找属性的顺序：ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer
- 实例化得到ftpserver，先找类ThreadingTCPServer的__init__,在TCPServer中找到，进而执行server_bind,server_active
- 找ftpserver下的serve_forever,在BaseServer中找到，进而执行self._handle_request_noblock()，该方法同样是在BaseServer中
- 执行self._handle_request_noblock()进而执行request, client_address = self.get_request()（就是TCPServer中的self.socket.accept()），然后执行self.process_request(request, client_address)
- 在ThreadingMixIn中找到process_request，开启多线程应对并发，进而执行process_request_thread，执行self.finish_request(request, client_address)
- 上述四部分完成了链接循环，本部分开始进入处理通讯部分，在BaseServer中找到finish_request,触发我们自己定义的类的实例化，去找__init__方法，而我们自己定义的类没有该方法，则去它的父类也就是BaseRequestHandler中找....
源码分析总结：
基于tcp的socketserver我们自己定义的类中的
- self.server即套接字对象
- self.request即一个链接
- self.client_address即客户端地址
基于udp的socketserver我们自己定义的类中的
- self.request是一个元组（第一个元素是客户端发来的数据，第二部分是服务端的udp套接字对象），如(b'adsf', <socket.socket fd=200, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>)
- self.client_address即客户端地址
浙公网安备 33010602011771号