Django基础篇：ORM-聚合查询、分组查询、F与Q查询、查询优化、常见字段及参数、事物操作、多对多创外键三种方式
2022.5.18 ORM查询及操作MySQL
- 聚合查询
- 分组查询
- F与Q查询
- ORM查询优化
- ORM常见字段及参数
- ORM事务操作
- ORM执行原生SQL语句
- 多对多三种创建方式
一、聚合查询
MySQL聚合函数:max\min\sum\count\avg
# 导入模块
from django.db.models import Max, Min, Sum, Avg, Count
# ORM操作
1.
res = models.Book.objects.aggregate(Max('price'))
print(res) # {'price__max': Decimal('56777.98')}
ps：没有分组也可以使用聚合函数，默认整体就是一组；
2.aggregate括号内也可使用多个聚合函数：
res = models.Book.objects.aggregate(Max('price'),
Min('price'),
Sum('price'),
Avg('price'),
Count('pk'))
print(res)
# {'price__max': Decimal('56777.98'), 'price__min': Decimal('16987.22'), 'price__sum': Decimal('179408.51'), 'price__avg': 29901.418333, 'pk__count': 6}
二、分组查询
主要用于有外键字段的多张表的数据查询，可以通过按照一张表的分组获取另一张表的数据
MySQL分组操作:group by
django ORM操作：annotate()
ps:ORM执行分组操作时如果报错，可能需要修改sql_mode，然后移除only_full_group_by;
案例展示：
# 1.统计每本书的作者个数
from django.db.models import Count
res = models.Book.objects.annotate(author_num=Count('authors__pk')).values('title', 'author_num') # 使用表对象点annotate，就是按照表的数据分组，括号里面是分组后的操作或者获取数据
# 2.统计每个出版社卖的最便宜的书的价格
res = models.Publish.objects.annotate(min_price=Min('book__price')).values('name', 'min_price') # 按照出版社每个对象分组，并获取最便宜书籍的最小值，使用values获取值
# 3.统计不止一个作者的图书
from django.db.models import Count
res = models.Book.objects.annotate(author_num=Count('authors__pk')).filter(author_num__gt=1).values('title','author_num')
# 4.统计每个作者出的书的总价格
from django.db.models import Sum
res = models.Author.objects.annotate(book_sum_price=Sum('book__price')).values('name','book_sum_price')
"""上述操作都是以表为单位做分组 如果想要以表中的某个字段分组如何操作"""
models.Author.objects.values('age').annotate()
案例：
# 统计每个出版社主键值对应的书籍个数
from django.db.models import Count
res = models.Book.objects.values('publish_id').annotate(book_num=Count('pk')).values('publish_id','book_num')
print(res)
三、F与Q查询
# 当表中已经有数据的情况下，添加额外的字段，需要指定默认值或者可以为null：
方式1
IntegerField(verbose_name='销量',default=1000)
方式2
IntegerField(verbose_name='销量',null=True)
方式3
在迁移命令提示中直接给默认值
1、F查询
案例分析：
# 1.查询库存大于销量的书籍
res = models.Book.objects.filter(kucun > maichu) 不行
res = models.Book.objects.filter(kucun__gt=maichu) 不行
# 当查询条件的左右两表的数据都需要表中的数据，可以使用F查询
from django.db.models import F
res = models.Book.objects.filter(kucun__gt=F('maichu'))
# 2.将所有书的价格提升1000块
res = models.Book.objects.update(price=F('price') + 1000)
# 3.将所有书的名称后面加上_爆款后缀
res = models.Book.objects.update(title=F('title') + '_爆款') # 不可以
# 如果要修改char字段咋办(千万不能用上面对数值类型的操作！！！)，需要使用下列两个方法：
from django.db.models.functions import Concat
from django.db.models import Value
res = models.Book.objects.update(name=Concat(F('title'), Value('爆款')))
2、Q查询
案例分析：
# 查询价格大于20000或者卖出大于1000的书籍
res = models.Book.objects.filter(price__gt=20000,maichu__gt=1000)
print(res)
print(res.query)
'''filter括号内多个条件默认是and关系，无法直接修改'''
'''使用Q对象，就可以支持逻辑运算符'''
from django.db.models import Q
res = models.Book.objects.filter(Q(price__gt=20000), Q(maichu__gt=1000)) # 逗号是and关系
res = models.Book.objects.filter(Q(price__gt=20000) | Q(maichu__gt=1000)) # 管道符是or关系
res = models.Book.objects.filter(~Q(price__gt=20000)) # ~是not操作
print(res.query)
# Q对象进阶用法
filter(price=100)
filter('price'=100)
当我们需要编写一个搜索功能，并且条件是由用户指定，这个时候左边的数据就是一个字符串，无法由用户指定，若想实现可以使用Q对象：
q_obj = Q() # 获取一个Q对象
q_obj.connector = 'or' # 默认是and，可以改为or
q_obj.children.append(('price__gt',20000)) # 注意括号内是元组形式；
q_obj.children.append(('maichu__gt',1000))
res = models.Book.objects.filter(q_obj) # q_obj可以承载多个条件
print(res.query)
四、ORM查询优化
1、ORM了解
"""
在IT行业 针对数据库 需要尽量做 能不'麻烦'它就不'麻烦'它
"""
# 1.orm查询默认都是惰性查询(能不消耗数据库资源就不消耗)
光编写orm语句并不会直接指向SQL语句，只有后续的代码用到了才会执行；
# 2.orm查询默认自带分页功能(尽量减轻单次查询数据的压力)
2、only与defer
# only
案例分析：
res = models.Book.objects.values('title','price')
# 需求:让上述单个结果还是以对象的形式展示，可以直接通过句点符操作
for i in res:
print(i.get('title')) # 结果不是一个对象
res = models.Book.objects.only('title', 'price') # 结果是对象
for obj in res:
print(obj.title)
print(obj.price)
print(obj.publish_time)
"""
only会产生对象结果集，对象点括号内出现的字段不会再走数据库查询；
但是如果点击了括号内没有的字段也可以获取到数据，但是每次都会走数据库查询；
"""
# defer
案例分析
res = models.Book.objects.defer('title','price')
for obj in res:
print(obj.title)
print(obj.price)
print(obj.publish_time)
"""
defer与only刚好相反，对象点括号内出现的字段会走数据库查询；
如果点击了括号内没有的字段也可以获取到数据，每次都不会走数据库查询；
"""
总结：
（1）only和defer都可以通过字段名产生对象，而不是对应数据；
（2）only和defer产生的对象在和数据库交互走数据库查询是完全相反的，only产生的对象后台可以不通过数据库查询获取only指定的数据，而defer产生的对象后台必须通过数据库查询获取defer指定的数据；
3、select_related和prefetch_related
# select_related
res = models.Book.objects.select_related('publish')
for obj in res:
print(obj.title) # 获取book表内容
print(obj.publish.name) # 获取publish表内容
print(obj.publish.addr)
"""
（1）select_related括号内只能传一对一和一对多字段，不能传多对多字段；
（2）效果是内部直接连接表(inner join)，然后将连接之后的大表中所有的数据全部封装到数据对象中；
（3）后续对象通过正反向查询跨表，内部不会再走数据库查询；
"""
# prefetch_related
res = models.Book.objects.prefetch_related('publish')
for obj in res:
print(obj.title)
print(obj.publish.name)
print(obj.publish.addr)
"""
（1）prefetch_related主要针一对多和多对多关系进行优化；
（2）prefetch_related通过分别获取各个表的内容，然后用Python处理他们之间的关系来进行优化；
（3）效果类似于多次子查询，将多次查询之后的结果封装到数据对象中，后续对象通过正反向查询跨表，内部不会再走数据库查询；
"""
总结：
（1）select_related是通过join来关联多表，一次获取数据，存放在内存中，但如果关联的表太多，会严重影响数据库性能。
（2）prefetch_related是通过分表，先获取各个表的数据，存放在内存中，然后通过Python处理他们之间的关联。
五、ORM常见字段及参数
1、常见字段
AutoField()
int auto_increment
CharField()
必须提供max_length参数 对应的数据库中是varchar类型
IntergerField()
int
DecimalField()
decimal
DateField()
date auto_now auto_now_add
DateTimeField()
datetime auto_now auto_now_add
BigIntergerField()
bigint
BooleanField()
传布尔值 存0和1
TextField()
存储大段文本
FileField()
传文件自动保存到指定位置并存文件路径
EmailField()
本质还是varchar类型
# 自定义字段类型
class MyCharField(models.Field):
def __init__(self, max_length, *args, **kwargs):
self.max_length = max_length
super().__init__(max_length=max_length, *args, **kwargs)
def db_type(self, connection):
return 'char(%s)' % self.max_length
2、重要参数
primary_key # 主键 primary_key=True
"字符型字段灿数："
max_length # 字符长度 max_length=32
verbose_name # 字段别名 verbose_name='xxx'
null # 默认为空 null=True
default # 设置默认值 default='xxx'
"int型字段参数："
max_digits
decimal_places
"DateField等时间字段类型参数"
unique # 设置唯一字段 unique=True
db_index
auto_now # 自动获取当前时间，并在修改时更新
auto_now_add # 自动获取当前时间，后续不自动改变auto_now_add=True
choices
用于可以被列举完全的数据，类似于枚举；
eg:性别 学历 工作经验 工作状态
class User(models.Model):
username = models.CharField(max_length=32)
password = models.IntegerField()
gender_choice = (
(1,'男性'),
(2,'女性'),
(3,'变性')
)
gender = models.IntegerField(choices=gender_choice)
# user_obj.get_gender_display()
# 字段默认设置为数字，通过get_gender_display()方法获取元组内指定数据，元组内有对应关系就拿，没有就还是本身的数字；
"外键字段参数："
to # to=外键表名
to_field # to_field=外键表的字段名
db_constraint
ps:外键字段中可能还会遇到related_name参数
"""
外键字段中使用related_name参数可以修改正向查询的字段名，相当于给外键起别名；
"""
六、ORM事务操作
# 回顾MySQL
MySQL事务:四大特性(ACID)
原子性
一致性
独立性
持久性
start transcation;
rollback;
commit;
# ORM事务操作
from django.db import transaction
try:
with transaction.atomic():
pass # 事务执行的代码一旦出现异常整个with内部的数据库操作都会自动回滚（rollback）
except Exception:
pass
七、Django执行原生SQL语句
# 方式1：获取cursor执行
from django.db import connection, connections
cursor = connection.cursor()
cursor = connections['default'].cursor()
cursor.execute("""SELECT * from auth_user where id = %s""", [1]) # 执行sql语句
cursor.fetchone() # 获取数据
# 方式2：ORM操作执行--extra()
models.UserInfo.objects.extra(
select={'newid':'select count(1) from app01_usertype where id>%s'},
select_params=[1,],
where = ['age>%s'],
params=[18,],
order_by=['-age'],
tables=['app01_usertype']
) # 直接在ORM操作中利用extra操作sql语句
八、多对多三种创建方式
# 全自动(常见)
orm自动创建第三张表，但是无法扩展第三张表的字段；
authors = models.ManyToManyField(to='Author')
# 全手动(使用频率最低)
优势在于第三张表完全自定义扩展性高，劣势在于无法使用外键方法和正反向；
class Book(models.Model):
title = models.CharField(max_length=32)
class Author(models.Model):
name = models.CharField(max_length=32)
class Book2Author(models.Model):
book_id = models.ForeignKey(to='Book')
author_id = models.ForeignKey(to='Author')
# 半自动(常见)
正反向还可以使用，并且第三张表可以扩展，唯一的缺陷是不能用：add\set\remove\clear四个方法
class Book(models.Model):
title = models.CharField(max_length=32)
authors = models.ManyToManyField(
to='Author',
through='Book2Author', # 指定表
through_fields=('book','author') # 指定字段
)
class Author(models.Model):
name = models.CharField(max_length=32)
'''多对多建在任意一方都可以，如果建在作者表，字段顺序互换即可'''
books = models.ManyToManyField(
to='Author',
through='Book2Author', # 指定表
through_fields=('author','book') # 指定字段
)
class Book2Author(models.Model):
book = models.ForeignKey(to='Book')
author = models.ForeignKey(to='Author')
浙公网安备 33010602011771号