day49

conn = pymysql.connect(
host='127.0.0.1',
port=3306,
user='root',
password='wang123',
database='db5',
charset='utf8' # 编码千万不要加-
)

cusor = conn.cursor() # 括号内不加参数的话查询出来的是元组的形式数据不够明确容易混乱

cursor = conn.cursor(cursor=pymysql.cursors.DictCursor) # 字典形式返回数据数据有具体的描述信息更加的合理方便

sql = "select * from user"
affect_rows = cursor.execute(sql) # 返回值是当前sql语句执行的受影响行数

cursor.fetchone() # 只能拿到一条结果
cursor.fetchall() # 拿所有
cursor.fetchmany(n) # 指定获取几条
"""
上述三个方法在读取数据的时候有一个类似于文件指针的特点
"""
cursor.scroll(1,'relative') # 相对于光标所在的当前位置往后移动
cursor.scroll(1,'absolute') # 相对于数据开头往后移动


## sql注入

```python
"""
就是利用一些特殊字符 结合软件固定的一些语句句式
非法入侵并违规操作

利用Mysql注释的语法 造成了sql注入的问题	# wangmiaolu' -- sjdksjk
	
	用户不需要属于用户名和密码也能够登录并且获取到整个用户表的数据
	select * from userinfo where name='wangmiaolu' -- sjdksjk' and password=''
	[{'id': 1, 'name': 'wangmiaolu', 'password': 123}]
	
日常应用软件在获取用户输入的内容时 都会限制一些特殊符号的输入

如何解决上述问题?
	所有敏感的信息不要自己去做拼接操作 交由固定的模块帮你去过滤数据防止sql注入
	有些框架已经自己处理过了
	
在pymysql中 execute就能够帮你过滤
"""

# sql注入
sql = "select * from user where username='%s' and password='%s'"%(username,password)
# 不要自己拼接
sql = "select * from user where username = %s and password = %s"
execute(sql,(userneme,password)) # 只能识别%s

02.pymysql模块补充

# 针对增删改查 pymysql需要二次确认才能真正的操作数据
import pymysql

# 1.链接服务端
conn = pymysql.connect(
    host='127.0.0.1',
    port=3306,
    user='root',
    password='wang123',
    database='db6',
    charset='utf8',
    autocommit=True  # 执行增、改、删操作自动执行conn.commit
)
# 2.产生一个游标对象(等待输入命令)
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
# 3.编写SQL语句
# 增
sql1 = 'insert into userinfo(name,pwd,dep_id) values(%s,%s,%s)'
# rows = cursor.execute(sql1,('迈克','wang123',1))
# rows = cursor.executemany(sql,[('威廉','yu123',2),('egon','lin123',3)])
# 删
# sql1 = 'delete from userinfo where id =1'
# 改
# sql1 = 'update userinfo set name="jasonNB" where id=1'


# 4.发送给服务端
ret = cursor.execute(sql1)
print(ret)  # 该方法的返回值 意思是执行SQL语句表中受影响的行数 没什么实际作用

# 5.执行增、改、删操作自动执行conn.commit 同autocommit
# conn.commit()   # 二次确认,是否真的执行这条命令

# 6.获取命令的执行结果
res = cursor.fetchall()
# print(res)

03.今日内容概要

# 今日内容基本都是了解知识点,作为一名开发人员基本在工作中用不到
视图(了解)
触发器(了解)
事务(需要掌握)
存储过程(了解)
内置函数(了解)
流程控制(了解)
索引理论(了解后再去扩展)

04.视图

1.什么是视图
"""
视图就是通过查询得到一张虚拟表，然后保存下来，下次用的直接使用即可
"""
	
2.为什么要用视图
"""
如果要频繁使用一张虚拟表，可以不用重复查询.
"""

应用场景
"""
为了数据安全,不让我们直接操作数据库的源表.
"""

3.如何用视图
# 固定语法
create view 表名 as 虚拟表的查询sql语句
"""
create view teacher2course as
select * from teacher inner join course
    on teacher.tid = course.teacher_id;
"""

强调
"""
1、在硬盘中，视图只有表结构文件，没有表数据文件
2、视图通常是用于查询，尽量不要修改视图中的数据,视图在navicat可以单独查看
delect from teacher2course where teacher.tid=1; # 报错
"""

drop view teacher2course;

总结
"""
1.视图了解即可,基本不用
2.视图使用频率不高,了解即可
"""

05.触发器

# 1.什么是触发器?
"""
在满足对表数据进行 增、删、改的情况下,自动触发的功能
"""

# 2.触发器的应用场景
"""
使用触发器可以帮助我们实现监控、日志
"""

# 3.触发器可以在六种情况下自动触发
"""
增前、增后、删除前、删除后、修改前、修改后
"""

# 4.触发器的应用场景
"""
触发器一般放在shell脚本里面,会产生日志.我们再根据日志进行数据治理
"""

基本语法结构

"""
语法结构:
create trigger 触发器的名字 before/after insert/update/delete on 表名 
for each row
begin
	sql语句
end
"""

# 具体使用 针对触发器的名字 我们通常需要做到见明知意
# 针对增
create trigger tri_before_insert_t1 before insert on t1
for each row
begin
	sql语句
end;
create trigger tri_after_insert_t1 after insert on t1
for each row
begin
	sql语句
end;

ps:修改mysql默认的语句结束符 (只作用于当前窗口,临时作用)
    delimiter $$ # 将默认的结束符号由;改为$$
    """
    mysql> delimiter $$
    编写需要用到分号的各种语句
	mysql> delimiter ; # (改回来)
    """

案例

# 案例
CREATE TABLE cmd (
    id INT PRIMARY KEY auto_increment,
    USER CHAR (32),
    priv CHAR (10),
    cmd CHAR (64),
    sub_time datetime, # 提交时间
    success enum ('yes', 'no') # 0代表执行失败
);

CREATE TABLE errlog (
    id INT PRIMARY KEY auto_increment,
    err_cmd CHAR (64),
    err_time datetime
);
"""
当cmd表中的记录success字段是no那么久触发触发器的执行,去errlog表中插入数据
NEW 指代的就是一条条数据对象

"""
delimiter $$  # 由于mysql一看到;就会结束,将mysql默认的结束符由;换成$$
create trigger tri_after_insert_cmd after insert on cmd for each row
begin
    if NEW.success = 'no' then  # 新记录都会被MySQL封装成NEW对象
        insert into errlog(err_cmd,err_time) values(NEW.cmd,NEW.sub_time);
    end if;
end $$
delimiter ;  # 结束之后记得再改回来，不然后面结束符就都是$$了

# 往表cmd中插入记录，触发触发器，根据IF的条件决定是否插入错误日志
INSERT INTO cmd (
    USER,
    priv,
    cmd,
    sub_time,
    success
)
VALUES
    ('kevin','0755','ls -l /etc',NOW(),'yes'),
    ('kevin','0755','cat /etc/passwd',NOW(),'no'),
    ('kevin','0755','useradd xxx',NOW(),'no'),
    ('kevin','0755','ps aux',NOW(),'yes');

# 查询errlog表记录
select * from errlog;

# 查看触发器
show triggers; # 或者show triggers\G;

# 删除触发器
drop trigger tri_after_insert_cmd;

06.事务

事务概念

1.什么是事务?
"""
开启一个事务可以包含多条sql语句 这些语句要么同时成功
要么一个都别想成功,称之为事务的原子性
"""

2.事务的作用
"""
保证了对数据操作的安全性
"""
eg:还钱的例子
    	egon用银行卡给我的支付宝转账1000
        	1.将egon银行卡账户的数据减1000块
            2.将我的支付宝账户的数据加1000块
        
        你在操作多条数据的时候可能会出现某几条不成功的情况

事务的四大特性

# 四大特性(ACID)
A:原子性
    一个事务是一个不可分割的单位,事务中包含诸多的操作
    要么同时成功,要么同时失败

C:一致性
   一个事务执行完了，产生的结果要一致，和原子性绑定
   """
   举例来说，假设用户A和用户B两者的钱加起来一共是1000，那么不管A和B之间如何转账、转几次账，事务结束后两个用户的钱相加起来应该还得是1000，这就是事务的一致性。
   """
    
I:隔离性
	多个事务之间彼此不干扰

D:持久性
    持久性是指一个事务一旦被提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下也不会丢失提交事务的操作

如何使用事务

# 事务相关的关键字
# 1 开启事务
start transaction;
# 2 回滚(回到事务执行之前的状态)
rollback;
# 3 确认(确认之后就无法回滚了)
commit;

"""模拟转账功能"""
create table user(
	id int primary key auto_increment,
    name char(16),
    balacnce int
);
insert into user(name,balance) values
('jason',1000),
('egon',1000),
('tank',1000);

select * from user;

# 1 先开启事务
start transaction;
# 2 多条sql语句
update user set balance=900 where name='jason'; #买支付100元
update user set balance=1010 where name='egon'; #中介拿走10元
update user set balance=1090 where name='tank'; #卖家拿到90元

select * from user; # 说明只保存在内存,没有真正刷到硬盘

# 回滚到上一个状态
rollback;
# 开启事务之后，只要没有执行commit操作，数据其实都没有真正刷新到硬盘
commit; # 一旦commit了之后,就不能回退了
"""开启事务检测操作是否完整，不完整主动回滚到上一个状态，如果完整就应该执行commit操作"""

"""
总结
	当你想让多条sql语句保持一致性 要么同时成功要么同时失败
	你就应该考虑使用事务
"""

07.存储过程

# 存储过程就是存一系列的sql语句的流程,相当于写了一个自定义函数封装了sql语句
"""
存储过程的内部包含了一系列可以执行的sql语句,存储过程存放于mysql服务端中,你可以直接通过调用存储过程触发内部sql语句的执行
"""

基本使用

create procedure 存储过程的名字(形参1,形参2,...)
begin
	sql语句;
end 
# 调用
call 存储过程的名字();

三种开发模式

第一种

"""
应用程序:程序员写代码开发
mysql:提前编写好存储过程,供应用程序调用

好处:开发效率提升了 执行效率也上去了
缺点:考虑到人为因素,跨部门沟通的问题 后续的存储过程的扩展性差

"""

第二种

"""
应用程序:程序员写代码开发之外 涉及到数据库操作也自己动手写
优点:扩展性很高
缺点:
	开发效率降低
	编写sql语句太过繁琐 而且后续还需要考虑sql优化问题
"""

第三种

"""
应用程序:只写程序代码 不写sql语句 基于别人写好的操作mysql的python框架直接调用操作即可 ORM框架
优点:开发效率比上面两种情况都要高
缺点:语句的扩展性差 可能会出现效率低下的问题
"""

总结

第一种基本不用.一般都是第三种,出现效率问题再动手写sql

存储过程具体演示

delimiter $$
create procedure p1(
    in m int,  # 只进不出 m不能返回出去
    in n int,  
    out res int  # 该形参可以返回出去
)
begin
    select tname from teacher where tid>m and tid<n;
    set res=666; # 将res变量修改 用来表示当前的存储过程代码确实执行了
end $$
delimiter ;

call p1(1,5,10) # 报错 第三个参数是非法的

# 针对形参res 不能直接传数据 应该传一个变量名
# 定义变量
set @res=10;  # 定义,申明了一个变量
# 查看变量对应的值
select @ret;
call p1(1,5,@ret);
select @ret;

在pymysql中如何快速的调用存储过程

import pymysql

conn = pymysql.connect(
    host='127.0.0.1',
    port=3306,
    user='root',
    password='wang123',
    database='db6',
    charset='utf8'  # 编码千万不要加-
)

cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
# 调用存储过程
cursor.callproc('p1', (1, 5, 10))
"""
@_p1_0=1
@_p1_1=5
@_p1_2=10
"""
# print(cursor.fetchall())
cursor.execute('select @_p1_2;')
print(cursor.fetchall())

08.函数

# 跟存储过程是有区别的，存储过程是自定义函数，函数就类似于是内置函数
('jason','0755','ls -l /etc',NOW(),'yes')
 
CREATE TABLE blog (
    id INT PRIMARY KEY auto_increment,
    NAME CHAR (32),
    sub_time datetime
);
 
INSERT INTO blog (NAME, sub_time)
VALUES
    ('第1篇','2015-03-01 11:31:21'),
    ('第2篇','2015-03-11 16:31:21'),
    ('第3篇','2016-07-01 10:21:31'),
    ('第4篇','2016-07-22 09:23:21'),
    ('第5篇','2016-07-23 10:11:11'),
    ('第6篇','2016-07-25 11:21:31'),
    ('第7篇','2017-03-01 15:33:21'),
    ('第8篇','2017-03-01 17:32:21'),
    ('第9篇','2017-03-01 18:31:21');

select * from blog;

# 对日期格式,进行格式化处理
SELECT
    DATE_FORMAT( sub_time, '%Y-%m' ),
    COUNT( id )
FROM
    blog
GROUP BY
    DATE_FORMAT( sub_time, '%Y-%m' );

"""
udf
	自定义函数
    
udaf
	自定义聚合函数

udtf
	表生成函数
"""

09.流程控制

# if判断
delimiter //
CREATE PROCEDURE proc_if ()
BEGIN
    declare i int default 0;
    if i = 1 THEN
        SELECT 1;
    ELSEIF i = 2 THEN
        SELECT 2;
    ELSE
        SELECT 7;
    END IF;
END //
delimiter ;

# while循环
delimiter //
CREATE PROCEDURE proc_while ()
BEGIN
    DECLARE num INT ;
    SET num = 0 ;
    WHILE num < 10 DO # 如果小于10 做
        SELECT num ;
        SET num = num + 1 ;
    END WHILE ;

10.索引

索引概念

ps:数据都是存在于硬盘上的,查询数据不可避免的需要进行IO操作
索引:就是一种数据结构,类似于书的目录.意味着以后在查询数据的应该先找目录再找数据，而不是一页一页的翻书,从而提升查询速度降低IO操作
索引在mysql中也叫"键",是存储引擎用于快速查找记录的一种数据结构
"""
primary key
unique key
index key

注意foreign key不是用来加速查询用的,不在我们的研究范围之内
上面的的三种key,primary key 和 unique key可以增加查询速度之外各自还具有约束条件,而最后一种index key 没有任何的约束条件,只是用来帮助你快速查询数据
"""

索引本质

索引本质
通过不断地缩小想要的数据范围筛选出最终的结果,同时将随机事件(一页一页的翻)变成顺序事件(先找目录、找数据) 也就是说有了索引机制,我们可以用一种固定的方式查找数据

一张表中可以有多个索引(多个目录)
索引虽然能够帮助你快速查询速度但是也有缺点
"""
1 当表中有大量数据存在的前提下 创建索引速度会很慢
2 在索引创建完毕之后 对表的查询性能会大幅度的提升 但是写的性能也会大幅度的降低
"""
索引不要随意的创建！！！

"""
sql优化包括索引和视图,sql语句的优化。
"""

B+树

"""
只有叶子节点存放的是真实的数据 其他节点存放的是虚拟数据 仅仅是用来指路的
树的层级越高查询数据所需要经历的步骤就越多(树有几层查询数据就需要几步)
 
一个磁盘块存储是有限制的
为什么建议你将id字段作为索引(为什么将id字段设为主键)
    整型相对于字符,占得空间少 一个磁盘块能够存储的数据多
    那么就降低了树的高度 从而减少查询次数
"""

聚集索引(primary key)

"""
聚集索引指的就是主键索引
Innodb 只有两个文件 直接将主键存放在了idb表中
MyIsam 三个文件 单独将索引存在一个文件
"""

辅助索引(unique,index)

查询数据的时候不可能一直使用到主键,也有可能会用到name,password等其他字段
那么这个时候你是没有办法利用聚集索引.这个时候你就可以根据情况给其他字段设置辅助索引(也是一个b+树)
"""
叶子节点存放的是数据对应的主键值
	先按照辅助索引拿到数据的主键值
	之后还是需要去主键的聚集索引里面查询数据
"""

覆盖索引

# 什么是覆盖索引?
"""
在辅助索引的叶子节点就已经拿到了需要的数据
"""

# 给name设置辅助索引(命中了索引字段,但是你要的数据是这个索引)
select name from user where name='jason'; 

# 非覆盖索引(命中了索引字段,但是你要的数据并不是这个索引)
select age from user where name ='jason';

测试索引是否有效的代码

**准备**
 
```mysql
#1. 准备表
create table s1(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);
 
#2. 创建存储过程，实现批量插入记录
delimiter $$ #声明存储过程的结束符号为$$
create procedure auto_insert1()
BEGIN
    declare i int default 1;
    while(i<3000000)do
        insert into s1 values(i,'jason','male',concat('jason',i,'@oldboy'));
        set i=i+1;
    end while;
END$$ #$$结束
delimiter ; #重新声明分号为结束符号
 
#3. 查看存储过程
show create procedure auto_insert1\G
 
#4. 调用存储过程
call auto_insert1();
```
 
``` mysql
# 表没有任何索引的情况下
select * from s1 where id=30000;
# 避免打印带来的时间损耗
select count(id) from s1 where id = 30000;
select count(id) from s1 where id = 1;
 
# 给id做一个主键
alter table s1 add primary key(id);  # 速度很慢
 
select count(id) from s1 where id = 1;  # 速度相较于未建索引之前两者差着数量级
select count(id) from s1 where name = 'jason'  # 速度仍然很慢
 
 
"""
范围问题
"""
# 并不是加了索引，以后查询的时候按照这个字段速度就一定快  
select count(id) from s1 where id > 1;  # 速度相较于id = 1慢了很多
select count(id) from s1 where id >1 and id < 3;
select count(id) from s1 where id > 1 and id < 10000;
select count(id) from s1 where id != 3;
 
alter table s1 drop primary key;  # 删除主键 单独再来研究name字段
select count(id) from s1 where name = 'jason';  # 又慢了
 
create index idx_name on s1(name);  # 给s1表的name字段创建索引
select count(id) from s1 where name = 'jason'  # 仍然很慢！！！
"""
再来看b+树的原理，数据需要区分度比较高，而我们这张表全是jason，根本无法区分
那这个树其实就建成了“一根棍子”
"""
select count(id) from s1 where name = 'xxx'; 
# 这个会很快，我就是一根棍，第一个不匹配直接不需要再往下走了
select count(id) from s1 where name like 'xxx';
select count(id) from s1 where name like 'xxx%';
select count(id) from s1 where name like '%xxx';  # 慢 最左匹配特性
 
# 区分度低的字段不能建索引
drop index idx_name on s1;
 
# 给id字段建普通的索引
create index idx_id on s1(id);
select count(id) from s1 where id = 3;  # 快了
select count(id) from s1 where id*12 = 3;  # 慢了  索引的字段一定不要参与计算
 
drop index idx_id on s1;
select count(id) from s1 where name='jason' and gender = 'male' and id = 3 and email = 'xxx';
# 针对上面这种连续多个and的操作，mysql会从左到右先找区分度比较高的索引字段，先将整体范围降下来再去比较其他条件
create index idx_name on s1(name);
select count(id) from s1 where name='jason' and gender = 'male' and id = 3 and email = 'xxx';  # 并没有加速
 
drop index idx_name on s1;
# 给name，gender这种区分度不高的字段加上索引并不难加快查询速度
 
create index idx_id on s1(id);
select count(id) from s1 where name='jason' and gender = 'male' and id = 3 and email = 'xxx';  # 快了  先通过id已经讲数据快速锁定成了一条了
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx';  # 慢了  基于id查出来的数据仍然很多，然后还要去比较其他字段
 
drop index idx_id on s1
 
create index idx_email on s1(email);
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx';  # 快 通过email字段一剑封喉
```
 
#### 联合索引
 
```mysql
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx'; 
# 如果上述四个字段区分度都很高，那给谁建都能加速查询
# 给email加然而不用email字段
select count(id) from s1 where name='jason' and gender = 'male' and id > 3;
# 给name加然而不用name字段
select count(id) from s1 where gender = 'male' and id > 3;
# 给gender加然而不用gender字段
select count(id) from s1 where id > 3;
 
# 带来的问题是所有的字段都建了索引然而都没有用到，还需要花费四次建立的时间
create index idx_all on s1(email,name,gender,id);  # 最左匹配原则，区分度高的往左放
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx';  # 速度变快
```
 
慢查询日志
 
设定一个时间检测所有超出该时间的sql语句，然后针对性的进行优化！

posted @ 2024-01-22 14:27 王苗鲁阅读(15) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

霸道总裁

day49

cusor = conn.cursor() # 括号内不加参数的话查询出来的是元组的形式数据不够明确容易混乱

02.pymysql模块补充

03.今日内容概要

04.视图

05.触发器

基本语法结构

案例

06.事务

事务概念

事务的四大特性

如何使用事务

07.存储过程

基本使用

三种开发模式

存储过程具体演示

在pymysql中如何快速的调用存储过程

08.函数

09.流程控制

10.索引

索引概念

索引本质

B+树

聚集索引(primary key)

辅助索引(unique,index)

覆盖索引

测试索引是否有效的代码

公告

霸道总裁

day49

cusor = conn.cursor() # 括号内不加参数的话 查询出来的是元组的形式 数据不够明确容易混乱

02.pymysql模块补充

03.今日内容概要

04.视图

05.触发器

基本语法结构

案例

06.事务

事务概念

事务的四大特性

如何使用事务

07.存储过程

基本使用

三种开发模式

存储过程具体演示

在pymysql中如何快速的调用存储过程

08.函数

09.流程控制

10.索引

索引概念

索引本质

B+树

聚集索引(primary key)

辅助索引(unique,index)

覆盖索引

测试索引是否有效的代码

公告

cusor = conn.cursor() # 括号内不加参数的话查询出来的是元组的形式数据不够明确容易混乱