orm常用字段和数据库优化查询
一、Django ORM 常用字段和参数
1.常用字段
models中所有的字段类型其实本质就那几种，整形varchar什么的，都没有实际的约束作用，虽然在models中没有任何限制作用，但是还是要分门别类，对于校验性组件校验非常有用
就比如说邮箱类型，你在输入邮箱的时候如果不按照邮箱格式输入，瞎鸡儿输入会提示你不合法，虽然输入的是字符串，但是不是规定的邮箱字符串
AutoField() 【int primary key auto_increment）】 int自增列，必须填入参数 primary_key=True。当model中如果没有自增列，则自动会创建一个列名为id的列。
IntegerField() 【int()】一个整数类型,范围在 -2147483648 to 2147483647。(一般不用它来存手机号(位数也不够)，直接用字符串存
CharField() 【varchar()】 字符类型，必须提供max_length参数， max_length表示字符长度。
DateField() 【date】日期字段，日期格式 YYYY-MM-DD，相当于Python中的datetime.date()实例。
DateTimeField() 【datetime】日期时间字段，格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ]，相当于Python中的datetime.datetime()实例
EmailField() 【varchar(254)】其实就是varchar但是不能直接写成varchar，就比如男人女人都是人，但是必须说清楚，后面会用于校验性组件的校验
BooleanField()
is_delete = BooleanField()
给该字段传值的时候 你只需要传布尔值即可
但是对应到数据库 它存的是0和1
TextField()
- 文本类型用来存大段文本
FileField()
- 字符串，路径保存在数据库，文件上传到指定目录
- 参数：
upload_to = "path" 用户上传的文件会自动放到等号后面指定的文件路径中
storage = None 存储组件，默认django.core.files.storage.FileSystemStorage
自定义char：
Django中的CharField对应的MySQL数据库中的varchar类型，没有设置对应char类型的字段，
但是Django允许我们自定义新的字段，下面我来自定义对应于数据库的char类型
自定义字段在实际项目应用中可能会经常用到
from django.db import models
# Create your models here.
#Django中没有对应的char类型字段，但是我们可以自己创建
class FixCharField(models.Field):
'''
自定义的char类型的字段类
'''
def __init__(self,max_length,*args,**kwargs):
self.max_length=max_length
super().__init__(max_length=max_length,*args,**kwargs)
def db_type(self, connection):
'''
限定生成的数据库表字段类型char，长度为max_length指定的值
:param connection:
:return:
'''
return 'char(%s)'%self.max_length
#应用上面自定义的char类型
class Class(models.Model):
id=models.AutoField(primary_key=True)
title=models.CharField(max_length=32)
class_name=FixCharField(max_length=16)
gender_choice=((1,'男'),(2,'女'),(3,'保密'))
gender=models.SmallIntegerField(choices=gender_choice,default=3)
字段合集和对应关系
AutoField(Field)
- int自增列，必须填入参数 primary_key=True
BigAutoField(AutoField)
- bigint自增列，必须填入参数 primary_key=True
注：当model中如果没有自增列，则自动会创建一个列名为id的列
from django.db import models
class UserInfo(models.Model):
# 自动创建一个列名为id的且为自增的整数列
username = models.CharField(max_length=32)
class Group(models.Model):
# 自定义自增列
nid = models.AutoField(primary_key=True)
name = models.CharField(max_length=32)
SmallIntegerField(IntegerField):
- 小整数 -32768 ～ 32767
PositiveSmallIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
- 正小整数 0 ～ 32767
IntegerField(Field)
- 整数列(有符号的) -2147483648 ～ 2147483647
PositiveIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
- 正整数 0 ～ 2147483647
BigIntegerField(IntegerField):
- 长整型(有符号的) -9223372036854775808 ～ 9223372036854775807
BooleanField(Field)
- 布尔值类型
NullBooleanField(Field):
- 可以为空的布尔值
CharField(Field)
- 字符类型
- 必须提供max_length参数， max_length表示字符长度
TextField(Field)
- 文本类型
EmailField(CharField)：
- 字符串类型，Django Admin以及ModelForm中提供验证机制
IPAddressField(Field)
- 字符串类型，Django Admin以及ModelForm中提供验证 IPV4 机制
GenericIPAddressField(Field)
- 字符串类型，Django Admin以及ModelForm中提供验证 Ipv4和Ipv6
- 参数：
protocol，用于指定Ipv4或Ipv6， 'both',"ipv4","ipv6"
unpack_ipv4， 如果指定为True，则输入::ffff:192.0.2.1时候，可解析为192.0.2.1，开启此功能，需要protocol="both"
URLField(CharField)
- 字符串类型，Django Admin以及ModelForm中提供验证 URL
SlugField(CharField)
- 字符串类型，Django Admin以及ModelForm中提供验证支持 字母、数字、下划线、连接符（减号）
CommaSeparatedIntegerField(CharField)
- 字符串类型，格式必须为逗号分割的数字
UUIDField(Field)
- 字符串类型，Django Admin以及ModelForm中提供对UUID格式的验证
FilePathField(Field)
- 字符串，Django Admin以及ModelForm中提供读取文件夹下文件的功能
- 参数：
path, 文件夹路径
match=None, 正则匹配
recursive=False, 递归下面的文件夹
allow_files=True, 允许文件
allow_folders=False, 允许文件夹
FileField(Field)
- 字符串，路径保存在数据库，文件上传到指定目录
- 参数：
upload_to = "" 上传文件的保存路径
storage = None 存储组件，默认django.core.files.storage.FileSystemStorage
ImageField(FileField)
- 字符串，路径保存在数据库，文件上传到指定目录
- 参数：
upload_to = "" 上传文件的保存路径
storage = None 存储组件，默认django.core.files.storage.FileSystemStorage
width_field=None, 上传图片的高度保存的数据库字段名（字符串）
height_field=None 上传图片的宽度保存的数据库字段名（字符串）
DateTimeField(DateField)
- 日期+时间格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ]
DateField(DateTimeCheckMixin, Field)
- 日期格式 YYYY-MM-DD
TimeField(DateTimeCheckMixin, Field)
- 时间格式 HH:MM[:ss[.uuuuuu]]
DurationField(Field)
- 长整数，时间间隔，数据库中按照bigint存储，ORM中获取的值为datetime.timedelta类型
FloatField(Field)
- 浮点型
DecimalField(Field)
- 10进制小数
- 参数：
max_digits，小数总长度
decimal_places，小数位长度
BinaryField(Field)
- 二进制类型
对应关系：
'AutoField': 'integer AUTO_INCREMENT',
'BigAutoField': 'bigint AUTO_INCREMENT',
'BinaryField': 'longblob',
'BooleanField': 'bool',
'CharField': 'varchar(%(max_length)s)',
'CommaSeparatedIntegerField': 'varchar(%(max_length)s)',
'DateField': 'date',
'DateTimeField': 'datetime',
'DecimalField': 'numeric(%(max_digits)s, %(decimal_places)s)',
'DurationField': 'bigint',
'FileField': 'varchar(%(max_length)s)',
'FilePathField': 'varchar(%(max_length)s)',
'FloatField': 'double precision',
'IntegerField': 'integer',
'BigIntegerField': 'bigint',
'IPAddressField': 'char(15)',
'GenericIPAddressField': 'char(39)',
'NullBooleanField': 'bool',
'OneToOneField': 'integer',
'PositiveIntegerField': 'integer UNSIGNED',
'PositiveSmallIntegerField': 'smallint UNSIGNED',
'SlugField': 'varchar(%(max_length)s)',
'SmallIntegerField': 'smallint',
'TextField': 'longtext',
'TimeField': 'time',
'UUIDField': 'char(32)',
2.字段参数
null 用于表示某个字段可以为空。
unique 如果设置为unique=True 则该字段在此表中必须是唯一的 。
db_index 如果db_index=True 则代表着为此字段设置索引。
default 为该字段设置默认值。
DateField和DateTimeField：
uto_now_add 配置auto_now_add=True，创建数据记录的时候会把当前时间添加到数据库。
auto_now 配置上auto_now=True，每次更新数据记录的时候会更新该字段
3.choices字段
在很多时候我们往数据库中存数据的时候不会直接存储汉字，会采用数字存取代替汉字，减小内存，
我们使用choices来给数字绑定注释关系，后期取出来的时候用固定语法取出注释，如：1表示男，我们取出来的时候取出男并不是取出数字1
1.绑定关系
choices=((1,'男'),(2,'女'),(3,'其他'))
gender = models.IntegerField(choices=choices)
2.取choice里面罗列的数字与中文对应关系： 固定语法： get_字段名_display() 如：print(user_obj.get_gender_display()) 3. 取没有罗列出来的数字 不会报错，会展示数字，数字是多少就展示多少
from django.db import models
# Create your models here.
class User(models.Model):
username = models.CharField(max_length=32)
age = models.IntegerField()
choices=(
(1,'男'),(2,'女'),(3,'其他')
)
gender = models.IntegerField(choices=choices)
"""
1 取choice里面罗列的数字与中文对应关系：
固定语法：
get_字段名_display()
如：print(user_obj.get_gender_display())
2 取没有罗列出来的数字
不会报错，会展示数字，数字是多少就展示多少
"""
import os
import sys
if __name__ == "__main__":
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "d57.settings")
import django
django.setup()
from app01 import models
user_obj = models.User.objects.filter(pk=5).first()
#print(user_obj.gender)
print(user_obj.get_gender_display())
二、关系字段
1.ForeignKey
外键类型在ORM中用来表示外键关联关系，一般把ForeignKey字段设置在 '一对多'中'多'的一方。
ForeignKey可以和其他表做关联关系同时也可以和自身做关联关系。
字段参数：
# to 设置要关联的表
class Classes(models.Model):
name = models.CharField(max_length=32)
class Student(models.Model):
name = models.CharField(max_length=32)
theclass = models.ForeignKey(to="Classes")
#to_field 设置要关联的表的字段
#on_delete 当删除关联表中的数据时，当前表与其关联的行的行为
def func():
return 10
class MyModel(models.Model):
user = models.ForeignKey(
to="User",
to_field="id"，
on_delete=models.SET(func)
)
# related_name 反向操作时，使用参数指定的字段名，代替原反向查询时的'表名_set'
class Classes(models.Model):
name = models.CharField(max_length=32)
class Student(models.Model):
name = models.CharField(max_length=32)
#theclass = models.ForeignKey(to="Classes") #不使用的情况下
theclass = models.ForeignKey(to="Classes", related_name="students")
#当我们要查询某个班级关联的所有学生（反向查询）时，我们会这么写：
#models.Classes.objects.first().student_set.all() #本来这样写
models.Classes.objects.first().students.all()
# related_query_name 反向查询操作时，使用的连接前缀，用于替换表名
# models.CASCADE 删除关联数据，与之关联也删除
# db_constraint 是否在数据库中创建外键约束，默认为True。
models.DO_NOTHING 删除关联数据，引发错误IntegrityError models.PROTECT 删除关联数据，引发错误ProtectedError models.SET_NULL 删除关联数据，与之关联的值设置为null（前提FK字段需要设置为可空） models.SET_DEFAULT 删除关联数据，与之关联的值设置为默认值（前提FK字段需要设置默认值） models.SET 删除关联数据， a. 与之关联的值设置为指定值，设置：models.SET(值) b. 与之关联的值设置为可执行对象的返回值，设置：models.SET(可执行对象)
2.OneToOneField
一对一字段。
通常一对一字段用来扩展已有字段。(通俗的说就是一个人的所有信息不是放在一张表里面的，简单的信息一张表，隐私的信息另一张表，之间通过一对一外键关联)
字段参数：
# to 设置要关联的表。
# to_field 设置要关联的字段。
# on_delete 当删除关联表中的数据时，当前表与其关联的行的行为。(同外键，参考上面的例子)
class Author(models.Model):
name = models.CharField(max_length=32)
info = models.OneToOneField(to='AuthorInfo')
class AuthorInfo(models.Model):
phone = models.CharField(max_length=11)
email = models.EmailField()
3. ManyToManyField
用于表示多对多的关联关系。在数据库中通过第三张表来建立关联关系
#to 设置要关联的表
# related_name 同ForeignKey字段。
# related_query_name 同ForeignKey字段。
# symmetrical 仅用于多对多自关联时，指定内部是否创建反向操作的字段。默认为True。
class Person(models.Model):
name = models.CharField(max_length=16)
friends = models.ManyToManyField("self")
#此时，person对象就没有person_set属性。
class Person(models.Model):
name = models.CharField(max_length=16)
friends = models.ManyToManyField("self", symmetrical=False)
#此时，person对象现在就可以使用person_set属性进行反向查询。
#through
在使用ManyToManyField字段时，Django将自动生成一张表来管理多对多的关联关系。
但我们也可以手动创建第三张表来管理多对多关系，此时就需要通过through来指定第三张表的表名。
# through_fields 设置关联的字段。
# db_table 默认创建第三张表时，数据库中表的名称。
4.多对多关联关系的三种方式
1.全自动(稍微推荐使用*)
完全依赖于ManyToMany让django orm自动创建第三张表
优势:不需要你创建第三张表 自动创建
不足:由于第三张表不是你手动创建的,也就意味着第三张表字段是固定的无法做扩展
class Book(models.Model):
title = models.CharField(max_length=32)
price = models.DecimalField(max_digits=8,decimal_places=2)
authors = models.ManyToManyField(to='Author')
class Author(models.Model):
name = models.CharField(max_length=32)
2.纯手动(了解即可，不用)
不依赖于ManyToMany,自己创建第三张表,里面是有ForeignKey自己做两张表的关联
优势:第三张可以新增任意字段 扩展性较高
不足:orm查询时较为繁琐
class Book(models.Model):
title = models.CharField(max_length=32)
price = models.DecimalField(max_digits=8,decimal_places=2)
class Author(models.Model):
name = models.CharField(max_length=32)
class Book2Author(models.Model):
book = models.ForeignKey(to='Book')
author = models.ForeignKey(to='Author')
create_time = models.DateField(auto_now_add=True)
3.半自动(大力推荐使用******)
设置ManyTomanyField参数，并指定自行创建的第三张表，依赖于ManyToMany,但是自己创建第三张表
优势:结合了全自动和纯手动的两个优点，可扩展性高
不足:多对多字段方法不支持了(add,set,remove,clear)，需要通过第三张表的model来管理多对多关系
class Book(models.Model):
title = models.CharField(max_length=32)
price = models.DecimalField(max_digits=8,decimal_places=2)
authors = models.ManyToManyField(to='Author',through='Book2Author',through_fields=('book','author'))
# through 告诉django orm 书籍表和作者表的多对多关系是通过Book2Author来记录的
# through_fields 告诉django orm记录关系时用过Book2Author表中的book字段和author字段来记录的
class Author(models.Model):
name = models.CharField(max_length=32)
# books = models.ManyToManyField(to='Book', through='Book2Author', through_fields=('author', 'book'))
class Book2Author(models.Model):
book = models.ForeignKey(to='Book')
author = models.ForeignKey(to='Author')
create_time = models.DateField(auto_now_add=True)
5.元信息
ORM对应的类里面包含另一个Meta类，而Meta类封装了一些数据库的信息。主要字段如下:
# db_table ORM在数据库中的表名默认是 app_类名，可以通过db_table可以重写表名。
# index_together 联合索引。
# unique_together 联合唯一索引。
# ordering 指定默认按什么字段排序。
只有设置了该属性，我们查询到的结果才可以被reverse()。
class UserInfo(models.Model):
nid = models.AutoField(primary_key=True)
username = models.CharField(max_length=32)
class Meta:
# 数据库中生成的表名称 默认 app名称 + 下划线 + 类名
db_table = "table_name"
# 联合索引
index_together = [
("pub_date", "deadline"),
]
# 联合唯一索引
unique_together = (("driver", "restaurant"),)
ordering = ('name',)
# admin中显示的表名称
verbose_name='哈哈'
# verbose_name加s
verbose_name_plural=verbose_name
三、数据库优化查询
1.update()与save()的区别
两者都是对数据的修改保存操作，但是save()函数是将数据列的全部数据项全部重新写一遍，效率极低，比如book_obj.save()会将对象所有属性重新保存一次
而update()则是针对修改的项进行针对的更新效率高耗时少，比如，update(price)，指哪打哪只会保存价格这一个属性
所以以后对数据的修改保存用update()
2.惰性查询
查询集 是惰性执行的 —— 创建查询集不会带来任何数据库的访问。你可以将过滤器保持一整天，直到查询集 需要求值时，Django 才会真正运行这个查询。
queryResult=models.Article.objects.all() # 只写这一句不会请求数据库
print(queryResult) # 直到你需要结果，此时才会查询数据库
for article in queryResult:
print(article.title) # 这样也会查询
orm内所有的语句操作 都是惰性查询:只会在你真正需要数据的时候才会走数据库,如果你单单只写orm语句时不会走数据库的
这样设计的好处 在于 减轻数据库的压力
3.only和defer 两对头
#only only会将括号内的所有的字段信息 全部查询出来封装对象中
res = models.Book.objects.only('title')
for r in res:
# print(r.title) # 只走一次数据库查询，将查询到的所有信息封装成一个对象，随后查询这些信息不需要再请求数据库，直接可以用点方法从对象中取出
print(r.price)
# 当你点击一个不是only括号内指定的字段的时候 不会报错 而是会帮你去数据库查询，循环几次查几次，频繁的走数据库查询，当你有成千上万条信息时对数据库造成一万点伤害
#defer defer会将不是括号内的所有的字段信息 全部查询出来封装对象中
res1 = models.Book.objects.defer('title') # defer与only是相反的
for r in res1:
# print(r.title)# 查询括号内的字段，会频繁的走数据库查询
print(r.price)#查询括号内没有的，只走一次
4. select_related 与 prefetch_related 两兄弟
res = models.Book.objects.all()
for r in res:
print(r.publish.name) #查询N次，这样是跨表查询，循环一次访问一次数据库，有一千万个书籍就查询一千万次
#常规的all方法，查询自己表里没有的属性，就需要跨表查询，虽然可以获取，但是你去查询一次就会访问一次数据库，查询其他表就不推荐这个了
#查询自己表里面有的属性时可以使用
#select_related 主动关联表
1. 主要针一对一和多对一关系进行优化。 2. 使用SQL的JOIN语句进行优化，通过减少SQL查询的次数来进行优化、提高性能
res = models.Book.objects.all().select_related('publish') for r in res: print(r.publish.name) #只查询一次，查询语句贼长包含两张表所有信息
#1.select_related:会将FK表全部信息直接拿过来(可以一次性拿多张表)跟当前表所有信息拼接成一张大表，封装成一个对象 之后获取信息直接点方法获取，不需要再访问数据库从而降低你跨表查询 数据库的压力，但是速度会比较慢，活太多 #2.支持一次性拿多张表，如果当前表有多个外键，括号内用逗号链接
如果FK1表中还有外键还可以再关联下去，用双下划线链接，最后将N张表合并成一个超级表 res = models.Book.objects.all().select_related('外键字段1__外键字段2__外键字段3__外键字段4......') #注意select_related括号只能放外键字段(一对一和一对多才行)，res = models.Book.objects.all().select_related('authors')多对多的关系就会报错
# prefetch_related 不主动关联表
1. 对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。 2. 优化方式是分别查询每个表，然后用Python处理他们之间的关系。
res = models.Book.objects.prefetch_related('publish') for r in res: print(r.publish.name) #只会走两次查询
""" 不主动连表操作(但是内部给你的感觉像是连表操作了) 而是先将book表中所有的publish的id全部拿出来，再到Publish表中将id对应的所有的数据的所有信息全部取出 括号内有几个外键字段 就会走几次数据库查询操作 """
