网络基础的补充,以及断点续传

一.网络基础

1端口:是什么,为什么要有?

　　端口是为了将同一个电脑上的不同程序进行隔离

　　IP是找PC端也就是电脑

　　端口是找PC端的程序

　　示例:

　　　　MySQL是一个软件,软件帮助我们在硬盘上进行文件操作. 默认端口:3306

　　　　Redis是一个软件,软件帮助我们在内存里进行数据操作.    默认端口:6379

　　　　http: 网站默认端口:80, 访问时:http://www.baidu.com:80　http是超文本传输协议，信息是明文传输

　　　　https: 网站默认端口443, 访问时:https://www.taobao.com:443　HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议,要比http协议安全

　　范围:

知名端口:
知名端口即众所周知的端口号，范围从0到1023，这些端口号一般固定分配给一些服务。比如21端口分配给FTP服务，25端口分配给SMTP（简单邮件传输协议）服务，80端口分配给HTTP服务，135端口分配给RPC（远程过程调用）服务等等。

动态端口:
动态端口的范围从1024到65535，这些端口号一般不固定分配给某个服务，也就是说许多服务都可以使用这些端口。只要运行的程序向系统提出访问网络的申请，那么系统就可以从这些端口号中分配一个供该程序使用。比如1024端口就是分配给第一个向系统发出申请的程序。在关闭程序进程后，就会释放所占用的端口号。

　　一般情况下我们所使用的端口都是:8000,8001,...

2.OSI7层模型

(1).七层:

　　自己写的代码:自己代码+框架

　　　　应用层,使用软件　　打开软件或网站

主要是一些终端的应用，比如说FTP（各种文件下载），WEB（IE浏览），QQ之类的（你就把它理解成我们在电脑屏幕上可以看到的东西．就 是终端应用）

　　　　表示层,看到的数据,如图片视频　　生产数据:szwwd

主要是进行对接收的数据进行解释、加密与解密、压缩与解压缩等（也就是把计算机能够识别的东西转换成人能够能识别的东西（如图片、声音等））

　　　　回话层,保持登陆或链接状态　　应用偷偷携带一点数据,如:令牌

通过传输层（端口号：传输端口与接收端口）建立数据传输的通路。主要在你的系统之间发起会话或或者接受会话请求（设备之间需要互相认识可以是IP也可以是MAC或者是主机名）

 　　socket模块:

　　　　传输层,TCP//UDP　　[TCP][szwwd|19rRNAwf8GVe6xyT9kJPIu5SlQc]

定义了一些传输数据的协议和端口号（WWW端口80等），如：TCP（传输控制协议，传输效率低，可靠性强，用于传输可靠性要求高，数据量大的数据），UDP（用户数据报协议，与TCP特性恰恰相反，用于传输可靠性要求不高，数据量小的数据，如QQ聊天数据就是通过这种方式传输的）。 主要是将从下层接收的数据进行分段进行传输，到达目的地址后在进行重组。常常把这一层数据叫做段。

　　　　网络层,IP　　【IP】【[TCP][szwwd|19rRNAwf8GVe6xyT9kJPIu5SlQc]】

主要将从下层接收到的数据进行IP地址（例192.168.0.1)的封装与解封装。在这一层工作的设备是路由器，常把这一层的数据叫做数据包。

　　　　数据链路层,MAC　　{MAC}【[TCP][szwwd|19rRNAwf8GVe6xyT9kJPIu5SlQc]】

主要将从物理层接收的数据进行MAC地址（网卡的地址）的封装与解封装。常把这一层的数据叫做帧。在这一层工作的设备是交换机，数据通过交换机来传输。

　　　　物理层,将数据转换成电信号发送

主要定义物理设备标准，如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等。它的主要作用是传输比特流（就是由1、0转化为电流强弱来进行传输,到达目的地后在转化为1、0，也就是我们常说的模数转换与数模转换）。这一层的数据叫做比特。

 (2).五层:

应用层:
    应用层
    表示层
    会话层
传输层
网络层
数据链路层
物理层

(3).四层:

应用层:
    应用层
    表示层
    会话层
传输层
网络层
物理层
    数据链路层
    物理层

 3.TCP三次握手/四次挥手

　　socket客户端向服务端发起链接请求:三次握手

　　　　client.connect((...))

　　　　　　客户端　　　　服务端

　　　　　　我能搞你吗

　　　　　　　　　　　　　来啊来啊

　　　　　　好的,我这就来

　　　　----------------------------------------------

　　　　client.send("发送数据")

　　　　　　收发数据　　　　收发数据

　　客户端和服务端断开链接:四次挥手

　　　　client.close() 或 conn.close()

　　　　--------------------------------------

　　　　客户端　　　　　　服务端

　　　　我要断开链接

　　　　　　　　　　　　　断开就断开,等我处理一些手头的事情

　　　　　　　　　　　　　......

　　　　　　　　　　　　　我处理完了,断开吧

　　　　拜拜

二.断点续传

1.进度条

import time

def func(size,total_size):
    val = int(size/total_size * 100)
    time.sleep(0.1)
    print('\r%s%%|%s' %(val,"#"*val,), end='')

for i in range(101):
    func(i,100)

2.计算文件大小(新)

引入os模块

import os

size = os.stat(r'D:\sylar\s15\day31\1.进度条.py').st_size
print(size)

 3.修改文件名称(新)

import os
import shutil

# py2 + win：报错
# os.rename('a.text','b.txt')

# py2+py3
shutil.move('c.txt','a.txt')    # 修改文件名称
# shutil.rmtree('D:\sylar\s15')   # 删除文件

 4.断点续传

import os
import json
import socketserver
import shutil

CODE = {
    '1001':'上传文件，从头开始上传'
}

def upload(cmd_dict,conn,username):
    """
    服务端完成上传文件（含断点续传）
    :param cmd_dict:
    :param conn:
    :return:
    """
    # 2. 获取文件信息
    file_md5 = cmd_dict['md5']
    file_name = cmd_dict['file_name']

    file_md5_path = os.path.join('home', username, file_md5)
    file_name_path = os.path.join('home', username, file_name)
    upload_file_size = cmd_dict['size']

    # 3. 判断文件是否存在
    exist = os.path.exists(file_md5_path)
    if not exist:  # 不续传
        # 3.1.1 可以开始上传了，我已经准备好。
        response = {'code': 1001}
        conn.sendall(json.dumps(response).encode('utf-8'))

        # 3.1.2 接收上传的文件内容
        f = open(file_md5_path, 'wb')
        recv_size = 0
        while recv_size < upload_file_size:
            data = conn.recv(1024)
            f.write(data)
            f.flush()
            recv_size += len(data)
        f.close()

        # 3.1.3 改名字
        shutil.move(file_md5_path, file_name_path)

    else:  # 续传
        # 3.2 续传+大小
        exist_size = os.stat(file_md5_path).st_size
        response = {'code': 1002, 'size': exist_size}
        conn.sendall(json.dumps(response).encode('utf-8'))

        f = open(file_md5_path, 'ab')
        recv_size = exist_size
        while recv_size < upload_file_size:
            data = conn.recv(1024)
            f.write(data)
            f.flush()
            recv_size += len(data)
        f.close()

        # 3.1.3 改名字
        shutil.move(file_md5_path, file_name_path)

class NbServer(socketserver.BaseRequestHandler):
    def handle(self):
        """
        self.request 是客户端的socket对象
        :return:
        """
        # 1. 接收命令
        upload_cmd_bytes = self.request.recv(8096)
        cmd_dict = json.loads(upload_cmd_bytes.decode('utf-8'))

        if cmd_dict['cmd'] == 'upload':
            upload(cmd_dict,self.request,'zhangzijian')
        elif cmd_dict['cmd'] == 'download':
            pass



if __name__ == '__main__':
    server = socketserver.ThreadingTCPServer(('127.0.0.1',8001),NbServer)
    server.serve_forever()

import os
import socket
import json
import hashlib
CODE = {
    '1001':'上传文件，从头开始上传'
}


def file_md5(file_path):
    """
    文件进行md5加密
    :param file_path:
    :return:
    """
    obj = open(file_path,'rb')
    m = hashlib.md5()
    for line in obj:
        m.update(line)
    obj.close()
    return m.hexdigest()

def jdt(size,total_size):
    """
    显示进度条
    :return:
    """
    val = int(size / total_size * 100)
    print('\r%s%%|%s' % (val, "#" * val,), end='')

def send_file(exist_size,file_total_size):
    """
    发送文件
    :param exist_size:开始读取字节的位置
    :param file_total_size: 文件总字节大小
    :return:
    """
    f = open(file_path, 'rb')
    f.seek(exist_size)
    send_size = exist_size
    while send_size < file_total_size:
        data = f.read(1024)
        sk.sendall(data)
        send_size += len(data)
        jdt(send_size,file_total_size)
    f.close()
    print('上传成功')

def upload(file_path):
    """
    文件上传（含断点）
    :param file_path:
    :return:
    """
    file_md5_val = file_md5(file_path)
    file_name = os.path.basename(file_path)
    file_size = os.stat(file_path).st_size

    cmd_dict = {'cmd': 'upload', 'file_name': file_name, 'size': file_size, 'md5': file_md5_val}
    upload_cmd_bytes = json.dumps(cmd_dict).encode('utf-8')
    sk.sendall(upload_cmd_bytes)

    # 2. 等待服务端的响应
    response = json.loads(sk.recv(8096).decode('utf-8'))
    if response['code'] == 1001:
        send_file(0, file_size)
    else:
        # 短点续传
        exist_size = response['size']
        send_file(exist_size,file_size)

sk = socket.socket()
sk.connect(('127.0.0.1',8001))

while True:
    # upload|文件路|径
    user_input = input("请输入要执行的命令")
    # 1. 自定义协议{'cmd':'upload','file_path':'.....'}
    cmd,file_path = user_input.split('|',maxsplit=1)
    if cmd == 'upload':
        upload(file_path)
    elif cmd == 'download':
        pass