6月11号
EPOLL
首先我们要知道我们为什么要选择EPOLL模型
select,需要遍历socket列表,频繁的对等待队列进行添加移除操作,
数据到达后还需要给变量所有socket才能获知哪些socket有数据
两个操作消耗的时间随着要监控的socket的数量增加而大大增加,
处于效率考虑才规定了最大只能监视1024个socket
多线程会遇到资源瓶颈,什么才是解决高并发最有效的方式呢
linux中提供了epoll 这种多路复用的IO模型,注意其他平台没有相应的实现
所以epoll仅在linux中可用
而
epol为了解决这个问题,在内核中维护了一个就绪列表,
1.创建epoll对象,epoll也会对应一个文件,由文件系统管理
2.执行register时,将epoll对象 添加到socket的等待队列中
3.数据到达后,CPU执行中断程序,将数据copy给socket
4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象
5.将socket,添加到就绪列表中
6.唤醒epoll等待队列中的进程,
进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可
解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket
#coding:utf-8 #客户端 #创建客户端socket对象 import socket clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #服务端IP地址和端口号元组 server_address = ('127.0.0.1',1688) #客户端连接指定的IP地址和端口号 clientsocket.connect(server_address) while True: #输入数据 data = raw_input('please input:') if data == "q": break if not data: continue #客户端发送数据 clientsocket.send(data.encode("utf-8")) #客户端接收数据 server_data = clientsocket.recv(1024) print ('客户端收到的数据：',server_data) #关闭客户端socket clientsocket.close()
# coding:utf-8 import socket, select server = socket.socket() server.bind(("127.0.0.1", 1688)) server.listen(5) msgs = [] fd_socket = {server.fileno(): server} epoll = select.epoll() # 注册服务器的 写就绪 epoll.register(server.fileno(), select.EPOLLIN) while True: for fd, event in epoll.poll(): sock = fd_socket[fd] print(fd, event) # 返回的是文件描述符 需要获取对应socket if sock == server: # 如果是服务器 就接受请求 client, addr = server.accept() # 注册客户端写就绪 epoll.register(client.fileno(), select.EPOLLIN) # 添加对应关系 fd_socket[client.fileno()] = client # 读就绪 elif event == select.EPOLLIN: data = sock.recv(2018) if not data: # 注销事件 epoll.unregister(fd) # 关闭socket sock.close() # 删除socket对应关系 del fd_socket[fd] print(" somebody fuck out...") continue print(data.decode("utf-8")) # 读完数据 需要把数据发回去所以接下来更改为写就绪=事件 epoll.modify(fd, select.EPOLLOUT) #记录数据 msgs.append((sock,data.upper())) elif event == select.EPOLLOUT: for item in msgs[:]: if item[0] == sock: sock.send(item[1]) msgs.remove(item) # 切换关注事件为写就绪 epoll.modify(fd,select.EPOLLIN)
数据库
1什么是数据库
数据库就是存储数据的仓库
普通存储数据的方式有两种 一种是内存的临时存储 断电后数据消失 还有一种通过硬盘存储可以永久保存数据但是读取数据较慢
效率较低，还有一个问题不可能所有组件运行在同一台计算机上为什么?
一台计算机的性能总归有上限 例如淘宝双11 双12 用一台计算机来做服务器的 配置再高都肯定吃不消，那怎么办?
我们可以通过垂直扩展计算机的性能 一种直接提升计算机硬件 但是一台机器的性能扩展总归有极限 所以不可取
我们通过横向扩展
添加更多的计算机 将程序的不同组件分别运行在不同的计算机上
带来的优点:
性能提高 稳定性提高(可拔插式)
现在性能问题已经解决了 通过分布式的方式
但是这些组件虽然分布在各个计算机上 但是它们还是一个整体
也就是说你操作的数据文件还是是同一份
默认情况下 程序能访问的数据 但是只有当前计算机。
如何能访问别的计算机上的文件呢?
只有一种办法,通过网络 通过网络把你要什么数据告诉服务器 服务器在通过网络把你要的数据发送给你,得需要使用socket ,需要配套的来一个服务器端 和 客户端程序，把客户端程序分发给各个python程序 python程序通过客户端来链接服务器端 从而完成数据的读写
我们完全可以自己来编写这么一套软件，但是需要考虑一下几个问题
2.既然是并发 还要考虑线程安全问题? 需要给文件操作加锁
3.是不是任何计算机请求链接我都要接受呢? 不是需要进行用户认证
4.单纯的对本地计算机上的数据进行读取 速度都是非常慢的硬盘上的数据有寻道寻址时间 平均延迟时间，速度太慢! 要想办法提高数据的存取效率，通过索引。
常见数据库
关系型数据库
数据库可以为数据与数据之间建立关联关系，人是一条数据，他可能关联着一个工作岗位数据。双方可以通过自身找到对方
mysql sqlserver db2 等
非关系型
数据库相关概念
数据 用于记录事物状态信息 可以是数字 字符 声音 图片
记录一条记录用于保存一个事物的典型特征 就相当于文件中的一行
表 本质就是一个文件 创建表的时候其实就在创建一个文件
库 本质就是一个文件夹
DBMS 数据库管理软件 就是一个套接字服务器端软件
二.安装mysql
1.下载安装包
下载地址：https://dev.mysql.com/downloads/mysql/
下载的时候提供了带界面的和不带界面的 用哪个呢?
服务器通常是不带界面的linux系统，并且熟练掌握SQL语句通常是面试官的基本要求
此处安装解压版的，下载对应的32/64位压缩包，解压到指定位置即可。
2.mysql目录解析
"""
bin 执行文件
mysqld 服务器主程序
mysql 无界面的客户端
data 数据文件
my-default.ini 配置文件模板
3.启动mysql服务器
注意:5.7后的版本需要先初始化 执行：mysqld --initialize-insecure
'''
启动服务器
1.运行CMD，通过cd 进入bin目录
2.执行mysqld就可以启动服务器，如果报错的话使用管理员权限来运行CMD
这是一个socket服务器程序 这时候相当于做了一下事情：
启动服务器socket 并监听端口 默认绑定当前ip 端口默认3306
启动客户端
运行mysql 注意他是一个socket程序 要连接服务器需要ip 和 端口
mysql -h ip -P port -uroot -p 密码默认为空
看到欢迎界面则说明socket链接成功了
执行过程分析：
这个命令提示符本质是什么?
就是一个input
接受一条指令然后发送给服务器
服务器接收到之后呢解析指令
取出你要的数据在send给客户端
那问题来了 指令肯定不能随便写,不然服务器不认识,大家必须得有套规范
就是sql 语句
sql全称为 结构化查询语言，是所有非关系型数据库都支持的语言，学习数据库很大一部分时间是在学习sql语句。
登录成功后可以执行一下命令来查看所有存在的数据库
show databases;
对比data文件夹来看
那在讲命令之前呢 思考一下 我们每次要使用mysql都得先cd到这个目录中非常麻烦
怎么解决呢?
4.加到环境变量
找到安装目录，将bin路径复制填入系统设置的path中即可
命令总结:
mysqld #启动服务器
启动客户端 #mysql -h -P -u -p 本机简写 mysql -u -p
#关闭服务器
tasklist | findstr mysqld
taskkill /F /PID 8372
也可以直接退出CMD
5.注册系统服务
服务器的启动和关闭都需要执行命令 还是不够方便 怎么办呢?
'''
将mysql注册到系统服务中 mysqld --install
需要注意的是 默认注册的服务名称叫做mysql 这与bin下的mysql是两码子事，一个系统服务一个是客户端执行文件
删除服务 sc delete mysql(服务名)
查看系统服务 运行->services.msc
通常设置为自动启动。
如果注册系统服务失败则可能是因为你之前安装过mysql 卸载重装即可。
界面版的安装失败也可能是之前安装了，导致端口占用。
三.修改管理员密码
现在密码默认为空 这样是不安全的
万一谁过来把你数据删了 怎么办?
#修改密码
在知道原始密码的情况下可以使用mysqladmin
mysqladmin是一个用于管理数据库的程序，包括修改密码，数据备份等
修改密码：
mysqladmin -uroot -p旧密码 password 123
警告忽略即可
#破解密码:
万一你不小心把密码忘记了怎么办? 到公司不可能卸载重装
这个密码它肯定要找地方存储起来 ,那存客户端还是服务器呢?
服务器 ,那存在内存还是硬盘呢? 必然是硬盘,既然如此,一定有一文件用于存放密码信息
#方式1:删除用于记录用户密码数据文件
没问题 简单粗暴 但是,这个文件里不只有你的账号信息 还有别人账号数据 还有授权相关的数据
所以你最好不要这么干!
那你在思考一下,服务器验证用户的本质是什么,是不是读取一个文件的数据来和你输入的数据进行对比,
那你可不可以这样子 我告诉我服务器说你不要去读那个授权文件,可以!
#方式2: 跳过授权表 进入系统修改授权表推荐
跳过这个操作是服务器相关的操作所以 咱的先关掉服务器重新开 在重新开的时候来告诉它
1.停止服务
2.启动服务器并添加参数
**mysqld --skip-grant-tables**
3.使用客户端登录服务器 执行修改命令 此时不需要输入密码
update mysql.user set password = password("123123") where user="root" and host="localhost"**
4.刷新权限
flush privileges
5.命令行中重启服务器验证新密码
