网络编程
一：什么是网络编程？
网络通常指的是计算机中的互联网是由多台计算机通过网线或其他媒介相互链接完成的。编写基于网络的应用程序的过程称之为网络编程。如果要想与其他计算机建立连接，就必须要让你的计算机与其他计算机能够互相传递数据。
二：C/S架构（客户端Client与服务器Sever）
提供数据的一方称之为服务器，访问数据的一方称之为客户端。
另外浏览器也可以访问服务器上的网页数据，称之为B/S，其本质上也是C/S只不过客户端是浏览器
三：网络通信的基本要素
１.两台计算机要想通信，必须要具备两个基本要素：
１.１.物理连接介质，包括网线，无线电，光纤等
１.２.通讯协议
２.什么是协议？
协议就是标准，大家要遵循相同的标准才能正常交流通讯。双方都能理解的语言就是标准，就是协议。互联网协议的功能：定义计算机如何接入internet，以及接入internet的计算机通信的标准。
３.OSI七层模型（Open System Internetconnection Reference Model）
开放式系统互联网通信参考模型，缩写为OSI，是由国际标准组织推出的，其实就是一大堆协议，OSI吧整个通讯过程划分为七层，简称为OSI七层模型。
OSI相当于计算机界的通用语言，只要按照OSI规定的标准来通讯，就能够与全世界任何一台计算机通信。
３.１物理层
物理层的功能：基于电子器件发送交流信号，根据电流的高低可以对应到数字０和１，也就是二进制数据。
３.２数据链路层
数据链路层由来：单纯的电信号0和1没有任何意义，必须规定电信号多少位一组，每组什么意思
数据链路层的功能：定义了电信号的分组方式
以太网协议：
早期的时候各个公司都有自己的分组方式，后来形成了统一的标准，即以太网协议ethernet
ethernet规定：
-
-
- 一组电信号构成一个数据包，叫做‘帧’
- 每一数据帧分成：报头head和数据data两部分
-
head包含：（固定１８个字节）
发送者／源地址，６字节
接收者／目标地址，６字节
数据类型（标签＋以太类型），６个字节
data包含：(最短46字节，最长1500字节)
- 数据包的具体内容
head长度＋data长度＝最短64字节，最长1518字节，超过最大限制就分片发送
mac地址：
head中包含的源和目标地址由来：ethernet规定接入internet的设备都必须具备网卡，发送端和接收端的地址便是指网卡的地址，即mac地址
mac地址：每块网卡出厂时都被烧制上一个世界唯一的mac地址，长度为48位2进制，通常由12位16进制数表示（前六位是厂商编号，后六位是流水线号）
广播：
有了mac地址，同一网络内的两台主机就可以通信了（一台主机通过arp协议获取另外一台主机的mac地址）
ethernet采用最原始的方式，广播的方式进行通信，即计算机通信基本靠吼
交换机不仅负责让网络中的计算机能够互相通信，还要优化网络传输，
如何优化呢?
当pc1想要与pc2通讯前
1需要知道pc2的MAC地址所以必须先将这个信息广播给所有的计算机，
2.这个信息必须先交给交换机，再由交换机广播出去，
3.pc2收到消息后发现目标MAC是自己，就回复数据给发送方，
4.而回复也必须先交给交换机,此时交换机就会记录pc2的MAC地址与网口1号的对应关系存到自己的缓存中，
5.下一次在要给pc2发数据时从缓存中查找pc2的MAC地址，
6.如果找到了就直接单独给pc2发送，不在需要广播，
７.如果没有则重复之前的广播过程
这一优化功能称之为自动学习功能
第一次链接某计算机时必须广播获取MAC地址：
只要链接过一次MAC地址就被交换机记录下了下一次就不用广播了
交换机的工作原理类似于早期的电话交换机，电话线打到总台，总台问你要几号？然后将电话线插到相应的口上。
3.3网络层
网络层由来：有了ethernet，mac地址，广播的发送地址，世界上的计算机就可以通信了，问题是世界范围内的互联网是由一个个隔离的小的局域网组成的，那么如果所有的通信都采用以太网的广播方式，那么一台机器发送的包全世界都会收到，这就不是效率问题了，而是一种灾难。
结论：必须找出一种方法来区分哪些计算机属于同一广播域，哪些不是，如果是就采用广播的方式发送，如果不是，就采用路由的方式（向不同广播域／子网分发数据包），mac地址是无法区分的，它只跟厂商有关网络层功能：引入一套新的地址用来区分不同的广播域／子网，这套地址即网络地址。
IP协议：
- 规定网络地址的协议叫ip协议，它定义的地址称之为ip地址，广泛采用的v4版本即ipv4，它规定网络地址由32位2进制表示
- 范围0.0.0.0-255.255.255.255
- 一个ip地址通常写成四段十进制数，例：172.16.10.1
IP地址分为两部分：
- 网络部分：标识子网
- 主机部分：标识主机
注意：单纯的ip地址段只是标识了ip地址的种类，从网络部分或主机部分都无法辨识一个ip所处的子网
例：172.16.10.1与172.16.10.2并不能确定二者处于同一子网
IP地址的分类：
A类保留给政府机构
10.0.0.1-10.255.255.254
B类分配给中等规模公司
172.16.0.1-172.31.255.254
C类分配给任何需要的人
192.168.0.1-192.168.255.254
D类用于组播
E类用于实验
我们的电脑ip通常都是C类的，以192.168开头，正因为C类任何人都能用
子网掩码
所谓”子网掩码”，就是表示子网络特征的一个参数。它在形式上等同于IP地址，也是一个32位二进制数字，它的网络部分全部为1，主机部分全部为0。比如，IP地址172.16.10.1，如果已知网络部分是前24位，主机部分是后8位，那么子网络掩码就是11111111.11111111.11111111.00000000，写成十进制就是255.255.255.0。
知道”子网掩码”，我们就能判断，任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算（两个数位都为1，运算结果为1，否则为0），然后比较结果是否相同，如果是的话，就表明它们在同一个子网络中，否则就不是。
比如，已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0，请问它们是否在同一个子网络？两者与子网掩码分别进行AND运算，
172.16.10.1：10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0
172.16.10.2：10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0
结果都是172.16.10.0，因此它们在同一个子网络。
总结一下，IP协议的作用主要有两个，一个是为每一台计算机分配IP地址，另一个是确定哪些地址在同一个子网络。
ip数据包
ip数据包也分为head和data部分，无须为ip包定义单独的栏位，直接放入以太网包的data部分
head：长度为20到60字节
data：最长为65,515字节。
而以太网数据包的”数据”部分，最长只有1500字节。因此，如果IP数据包超过了1500字节，它就需要分割成几个以太网数据包，分开发送了。
ARP协议
arp协议由来：计算机通信基本靠吼，即广播的方式，所有上层的包到最后都要封装上以太网头，然后通过以太网协议发送，在谈及以太网协议时候，我门了解到
通信是基于mac的广播方式实现，计算机在发包时，获取自身的mac是容易的，如何获取目标主机的mac，就需要通过arp协议
arp协议功能：广播的方式发送数据包，获取目标主机的mac地址
协议工作方式：每台主机ip都是已知的
例如：主机172.16.10.10/24访问172.16.10.11/24
一：首先通过ip地址和子网掩码区分出自己所处的子网
二：分析172.16.10.10/24与172.16.10.11/24处于同一网络(如果不是同一网络，那么下表中目标ip为172.16.10.1,通过arp获取的是网关的mac)
三：这个包会以广播的方式在发送端所处的自网内传输，所有主机接收后拆开包，发现目标ip为自己的，就响应，返回自己的mac。
总结：ARP通过广播的方式来获取MAC地址，不在同一子网时ARP得到的是对方网关的MAC地址，数据到达对方网关后，由网关根据ip交给对应的主机，当然对方网关获取主机MAC也是通过ARP。
PS：路由器，交换机都可以被称为网关。
3.4传输层（重点）
传输层的由来：网络层的ip帮我们区分子网，以太网的mac帮我们找到主机，然后大家使用的都是应用程序，你的电脑上可能同时开启qq，微信等多个应用程序。
那么我们通过ip和mac找到了一台特定的主机，如何标识这台主机上的应用程序，答案就是端口，端口即应用程序与网卡关联的编号。
传输层功能：建立端口到端口的通信
端口范围0-65535，0-1023为系统占用端口
TCP协议：
可靠传输，TCP数据包没有长度限制，理论上可以无限长，但是为了保证网络的效率，通常TCP数据包的长度不会超过IP数据包的长度，以确保单个TCP数据包不必再分割。
TCP之所以可靠，是因为在传输数据前需要三次握手确认建立链接。
三次握手：
三次握手的过程实际上是在确认我发的你能收到，你发的我也能收到，从而保证数据的可靠性，链接是一个虚拟的概念，不实际存在，只要三次握手成功即表示链接建立成功。
TCP协议要求在发送数据之后，必须接收到对方的回复信息才能确认数据成功发送，如果一段时间内没有收到回复信息，会自动重新发送，如果重试的次数过多，则表示链接可能已经中断。
四次挥手：
四次挥手的目的就是保证双方的数据传输已经全部完成，同样是为了保证数据的完整性。
优点：
能够保证数据传输是完整的
缺点：
传输数据可能不完整。
场景：
多用于必须保证数据完整性的场景，例如文本信息，支付信息。
UDP协议：
不可靠传输，“报头”部分一共只有8个字节，总长度不超过65535字节，正好放进一个IP数据包。
UDP协议采取的方式与TCP完全不同，其根本不关心对方是否收到数据，甚至不关心对方的地址是否有效，只要将数据发送到网络就什么都不管了。
优点：
由于不需要传输确认信息，所以传输效率高于TCP协议
缺点：
传输数据可能不完整
场景：
视频聊天，语音聊天，不要求数据的完整性，但是对传输速度要求较高。
3.5应用层
应用层由来：用户使用的都是应用程序，均工作与应用层，互联网是开发的，大家都可以开发自己的应用程序，数据多种多样，必须规定好数据的组织形式。
应用层功能：规定应用程序的数据格式。
例：TCP协议可以为各种各样的程序传递数据，比如Email、WWW、FTP等等。那么，必须有不同协议规定电子邮件、网页、FTP数据的格式，这些应用程序协议就构成了”应用层”。
至此一连串高低电压就通过层层协议，变成了我们在应用程序中看到的各种数据。
3.6 socket
3.6.1什么是socket？
我们知道两个进程如果需要进行通讯最基本的一个前提能够唯一的标示一个进程，在本地进程通讯中我们可以使用PID来唯一标示一个进程，但PID只在本地唯一，网络中的两个进程PID冲突几率很大，这时候我们需要另辟它径了，我们知道IP层的ip地址可以唯一标示主机，而TCP层协议和端口号可以唯一标示主机的一个进程，这样我们可以利用ip地址＋协议＋端口号唯一标示网络中的一个进程。
能够唯一标示网络中的进程后，它们就可以利用socket进行通信了，什么是socket呢？我们经常把socket翻译为套接字，socket是在应用层和传输层之间的一个抽象层，它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。
socket是应用层与TCP/IP协议族通信的中间软件层，它是一组接口。在设计模式中，socket其实就是一个门面模式，它把复杂的TCP/IP协议隐藏在socket接口后面，对用户来说，一组简单的接口就是全部，让socket去组织数据，以符合之id那个的协议。
所以，我们无需深入理解TCP/UDP协议，socket已经为我们封装好了，我们只需要遵循socket的规定去编程，那么写出的程序自然是符合TCP/UDP标准的。
3.6.2套接字家族
套接字分为两种：（1）基于文件类型的套接字家族 AF_UNIX
（2）基于网络类型的套接字家族 AF_INET
unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一台机器上可以通过访问同一个文件系统间接完成通信。但是，AF_INET是使用最为广泛的一个，python支持多种地址家族，但是我们只关心网络编程，所以大部分我们只是用AF_INET。
3.6.3套接字工作流程
服务端初始化socket，然后与端口绑定（bind），对端口进行监听（listen），调用accept阻塞，等待与客户端连接。在这个时候如果有个客户端初始化一个socket，然后连接服务器（connect），如果连接成功，这时客户端与服务器的连接就建立了。客户端发送数据请求，服务器接收请求并处理请求，然后回收数据发送给客户端，客户端读取数据，最后关闭连接，一次交互结束。
3.6.4socket用法
import socket # 买手机 默认得到是一个TCP的socket server = socket.socket() server.bind(("127.0.0.1",16888)) # 绑定手机卡 server.listen() # 开始待机 # 得到对方的socket对象与地址 client,addr = server.accept() # 接收通话请求 # 该函数会阻塞 直到有连接请求过来 # buffersize 表示应用程序的缓冲区大小 recv其实是 从系统缓冲区读取数据到应用程序 data = client.recv(1024) # 该函数会阻塞 直到操作缓冲区有数据位置 print("收到客户端发来的数据:%s" % data.decode("utf-8")) # 发生的数据必须为bytes类型 client.send(data) client.close() #挂断电话 server.close() # 关机
import socket client = socket.socket() client.connect(("127.0.0.1",16888)) client.send("hello 服务器".encode("utf-8")) data = client.recv(1024) # 该函数会阻塞 直到操作缓冲区有数据位置 print("收到服务器:%s" % data.decode("utf-8")) client.close()
TCP循环发送（里面包含了异常处理，下面只是做单独说明）：
import socket server=socket.socket() server.bind(("127.0.0.1",16888)) # 开始待机 server.listen() # 通信循环 while True: client,addr=server.accept() while True: try: # 如果是windows 对方强行关闭连接会抛出异常 # 如果是linux 不会抛出异常 会收到空的数据包进入死循环 data=client.recv(1024) if not data : client.close() break print('收到数据%s:'%data.decode('utf-8')) client.send(data) except ConnectionResetError: print('客户端关闭连接') client.close() break # 挂断电话 client.close() # 关机 server.close()
import socket client=socket.socket() client.connect(("127.0.0.1",16888)) while True: msg=input('>>>:') client.send(msg.encode('utf-8')) data=client.recv(1024) print('收到服务器：%s'%data.decode('utf-8')) client.close()
TCP异常处理：
import socket server = socket.socket() server.bind(("127.0.0.1",8888)) server.listen() client,addr = server.accept() while True: try: data = client.recv(1024) if not data: print("对方已经关闭.....") break print(data.decode("utf-8")) client.send(data.upper()) except ConnectionResetError: print("对方异常关闭连接...") client.close() server.close()
import socket client = socket.socket() client.connect(("127.0.0.1",8888)) client.send("hello".encode("utf-8")) data = client.recv(1024) print(data.decode("utf-8")) client.close()
3.7半连接池
半连接指当服务器在响应了客户端的第一次请求后会进入等待状态，等客户端发送的ACK信息，这个时候的连接就指半连接。
产生半连接的两种状态：
1.客户端无法返回ACK信息
2.服务器来不及处理客户端的连接请求
有一种攻击叫做SYN洪水攻击，就是不断的产生半连接，来使服务器无法处理请求。
半连接池就是一个容器，系统会自动将半连接放入这个容器中，可以避免半连接过多而导致资源耗光。
import socket server = socket.socket() server.bind(("127.0.0.1",8888)) # 参数可以设置最大的半连接数 最大5个，此处设置为最大只能连接两个客户端，超过两个就拒绝 server.listen(2) import time while True: time.sleep(0.5) # while True: # # client,addr = server.accept() #没有accept则表示没有接受请求 # # while True: # try: # data = client.recv(1024) # if not data: # print("对方已经关闭.....") # client.close() # break # print(data.decode("utf-8")) # client.send(data.upper()) # except ConnectionResetError: # print("对方异常关闭连接...") # client.close() # break # client.close() server.close()
import socket client = socket.socket() client.connect(("127.0.0.1",8888)) while True: client.send(input(">>:").encode("utf-8")) data = client.recv(1024) print(data.decode("utf-8")) client.close()
3.8基于UDP的套接字
UDP协议不关心对方是否收到数据，甚至不关心对方的地址是否有效，只要将数据报发送到网络便什么都不管。
import socket # UDP协议 在创建socket是 只有一个类型不同 server = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,proto=0) server.bind(("127.0.0.1",8888)) while True: data,addr = server.recvfrom(1024) # 阻塞 直到收到数据为止 print("收到来自%s的消息:%s" % (data.decode("utf-8"),addr[0])) # 返回值为 数据 和 对方ip地址 和端口号 server.sendto(data.upper(),addr) print(res) server.close()
import socket client = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0) while True: data = input(">>:").encode("utf-8") client.sendto(data,("127.0.0.1",8888)) d,addr = client.recvfrom(1024) print(d.decode("utf-8")) client.close()
