django缓存,信号,orm性能,多数据库配置

1.缓存

由于django是动态网站，用户请求都要去服务器的数据库中增删改查，会消耗很大的资源，因此，使用缓存在减轻服务器的压力。缓存是将一些常用的数据保存内存或者memcache中，在一定的时间内有人来访问这些数据时，则不再去执行数据库及渲染等操作，而是直接从内存或memcache的缓存中去取得数据，然后返回给用户。Django使用缓存后，用户请求到来时，则不再去执行view中的操作，而是直接从内存或者Redis中之前缓存的内容拿到，并返回。

Django中提供了6种缓存方式：
    1.开发调试
    2.内存
    3.文件
    4.数据库
    5.Memcache缓存（python-memcached模块）
    6.Memcache缓存（pylibmc模块）

1.1 Django中缓存配置

django配置缓存，只需要在settings.py中添加相应的配置即可。

1.1.1 开发调试

# 此为开始调试用，实际内部不做任何操作
    # 配置：
        CACHES = {
            'default': {
                'BACKEND': 'django.core.cache.backends.dummy.DummyCache',     # 引擎
                'TIMEOUT': 300,                                               # 缓存超时时间（默认300，None表示永不过期，0表示立即过期）
                'OPTIONS':{
                    'MAX_ENTRIES': 300,                                       # 最大缓存个数（默认300）
                    'CULL_FREQUENCY': 3,                                      # 缓存到达最大个数之后，剔除缓存个数的比例，即：1/CULL_FREQUENCY（默认3）
                },
                'KEY_PREFIX': '',                                             # 缓存key的前缀（默认空）
                'VERSION': 1,                                                 # 缓存key的版本（默认1）
                'KEY_FUNCTION' 函数名                                          # 生成key的函数（默认函数会生成为：【前缀:版本:key】）
            }
        }
​
​
    # 自定义key
    def default_key_func(key, key_prefix, version):
        """
        Default function to generate keys.
​
        Constructs the key used by all other methods. By default it prepends
        the `key_prefix'. KEY_FUNCTION can be used to specify an alternate
        function with custom key making behavior.
        """
        return '%s:%s:%s' % (key_prefix, version, key)
​
    def get_key_func(key_func):
        """
        Function to decide which key function to use.
​
        Defaults to ``default_key_func``.
        """
        if key_func is not None:
            if callable(key_func):
                return key_func
            else:
                return import_string(key_func)
        return default_key_func
View Code

1.1.2 内存

 # 此缓存将内容保存至内存的变量中
    # 配置：
        CACHES = {
            'default': {
                'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
                'LOCATION': 'unique-snowflake',      #唯一字符串
            }
        }
​
    # 注：其他配置同开发调试版本
View Code

1.1.3 文件

 # 此缓存将内容保存至文件
    # 配置：
        CACHES = {
            'default': {
                'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
                'LOCATION': '/var/tmp/django_cache',    #这里写文件路径
            }
        }
    # 注：其他配置同开发调试版本
View Code

1.1.4 数据库

 # 此缓存将内容保存至数据库
​
    # 配置：
        CACHES = {
            'default': {
                'BACKEND': 'django.core.cache.backends.db.DatabaseCache',
                'LOCATION': 'my_cache_table', # 数据库表
            }
        }
​
    # 注：执行创建表命令 python manage.py createcachetable
View Code

1.1.5 Memcache缓存（python-memcached模块）

# 此缓存使用python-memcached模块连接memcache
    #连接方式一:ip和端口
    CACHES = {
        'default': {
            'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
            'LOCATION': '127.0.0.1:11211',   #Memcache的ip和端口
        }
    }
    
    #连接方式二:socket
    CACHES = {
        'default': {
            'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
            'LOCATION': 'unix:/tmp/memcached.sock',
        }
    }   
​
    #连接方式三:分布式
    CACHES = {
        'default': {
            'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
            'LOCATION': [
                '172.19.26.240:11211',
                '172.19.26.242:11211',
            ]
        }
    }
View Code

1.1.6 Memcache缓存（pylibmc模块）

    # 此缓存使用pylibmc模块连接memcache
    
    CACHES = {
        'default': {
            'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
            'LOCATION': '127.0.0.1:11211',
        }
    }
​
    CACHES = {
        'default': {
            'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
            'LOCATION': '/tmp/memcached.sock',
        }
    }   
​
    CACHES = {
        'default': {
            'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
            'LOCATION': [
                '172.19.26.240:11211',
                '172.19.26.242:11211',
            ]
        }
    }
View Code

1.1.7 django-redis配置缓存

#下载   pip install django-redis
​
CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            "CONNECTION_POOL_KWARGS": {"max_connections": 100}
            # "PASSWORD": "密码",
        }
    }
}
View Code

详见文档： https://django-redis-chs.readthedocs.io/zh_CN/latest/

1.2 使用缓存

1.2.1 单独视图使用缓存

  • settings.py

    CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
        'LOCATION': 'unique-snowflake',   #唯一字符串
        'TIMEOUT': 300,  # 缓存超时时间（默认300，None表示永不过期，0表示立即过期）
        'OPTIONS': {
            'MAX_ENTRIES': 300,  # 最大缓存个数（默认300）
            'CULL_FREQUENCY': 3,  # 缓存到达最大个数之后，剔除缓存个数的比例，即：1/CULL_FREQUENCY（默认3）
        },
    }
}
    View Code

  • views.py

    from django.shortcuts import render
from app01 import models
​
from django.views.decorators.cache import cache_page
​
@cache_page(5)
def student_list(request,*args,**kwargs):
    students = models.Student.objects.all()
    print("students")
    return render(request,"student_list.html",{"students":students})
    View Code

1.2.2 全局使用缓存

  • 全局使用缓存，通过django中间件实现。

    使用中间件，经过一系列的认证等操作，如果内容在缓存中存在，则使用FetchFromCacheMiddleware获取内容并返回给用户，当返回给用户之前，判断缓存中是否已经存在，如果不存在则UpdateCacheMiddleware会将缓存保存至缓存，从而实现全站缓存
   缓存多长时间等配置默认是按照你上面的配置部分来的
    MIDDLEWARE = [
        'django.middleware.cache.UpdateCacheMiddleware', #中间件第一个
            # 其他中间件...
        'django.middleware.cache.FetchFromCacheMiddleware', #中间件最后一个
    ]
​
    CACHE_MIDDLEWARE_ALIAS = ""     #用于存储的缓存别名。
    CACHE_MIDDLEWARE_SECONDS = ""   #应该缓存每个页面的秒数
    CACHE_MIDDLEWARE_KEY_PREFIX = "" #如果使用同一django安装跨多个站点共享缓存，请将其设置为站点名称或此django实例唯一的其他字符串，以防止密钥冲突。如果你不在乎，就用空字符串。
    View Code

    img

    • django默认配置为：

      from django.conf import global_settings #在这个配置文件中我们能够看到
#以下配置是django缓存的默认配置，如果我们自己没有进行配置，那么下面的使用，默认会使用我们的默认配置，也就是本地内存
# The cache backends to use.
CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
    }
}
CACHE_MIDDLEWARE_KEY_PREFIX = ''
CACHE_MIDDLEWARE_SECONDS = 600
CACHE_MIDDLEWARE_ALIAS = 'default'
      View Code

1.2.3 局部模板使用

  • views.py

    from django.shortcuts import render
from app01 import models
import time
​
def student_list(request,*args,**kwargs):
    new = time.time()
    return render(request,"student_list.html",{"new":new})
    View Code

  • student_list.html

    <!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<ul>
    {% for student in students %}
        <li>
            {{ student.name  }}
        </li>
    {% endfor %}
​
</ul>
​
{{ new }}
​
<br>
​
{% load cache %}
{% cache 5 "xxx1" %}
    缓存: {{ new }}
{% endcache %}
​
</body>
</html>
    View Code

2.信号

Django中提供了“信号调度”，用于在框架执行操作时解耦。通俗来讲，就是一些动作发生的时候，信号允许特定的发送者去提醒一些接受者。

2.1 Django内置信号

Model signals
    pre_init                    # django的model执行其构造方法前，自动触发
    post_init                   # django的model执行其构造方法后，自动触发
    pre_save                    # django的model对象保存前，自动触发，新增或者更新都是保存
    post_save                   # django的model对象保存后，自动触发
    pre_delete                  # django的model对象删除前，自动触发
    post_delete                 # django的model对象删除后，自动触发
    m2m_changed                 # django的model中使用m2m字段操作第三张表（add,remove,clear）前后，自动触发
    class_prepared              # 程序启动时，检测已注册的app中modal类，对于每一个类，自动触发
    
Management signals
    pre_migrate                 # 执行migrate命令前，自动触发
    post_migrate                # 执行migrate命令后，自动触发
     
Request/response signals
    request_started             # 请求到来前，自动触发
    request_finished            # 请求结束后，自动触发
    got_request_exception       # 请求异常后，自动触发
     
Test signals
    setting_changed             # 使用test测试修改配置文件时，自动触发
    template_rendered           # 使用test测试渲染模板时，自动触发
    
Database Wrappers
    connection_created          # 创建数据库连接时，自动触发
View Code

对于Django内置的信号，仅需注册指定信号，当程序执行相应操作时，自动触发注册函数：

注册信号，写入与project同名的文件夹下的init.py文件(或者应用文件夹的init.py文件中或者views.py视图中)中，也是换数据库引擎的地方。

    from django.core.signals import request_finished
    from django.core.signals import request_started
    from django.core.signals import got_request_exception
​
    from django.db.models.signals import class_prepared
    from django.db.models.signals import pre_init, post_init
    from django.db.models.signals import pre_save, post_save
    from django.db.models.signals import pre_delete, post_delete
    from django.db.models.signals import m2m_changed
    from django.db.models.signals import pre_migrate, post_migrate
​
    from django.test.signals import setting_changed
    from django.test.signals import template_rendered
​
    from django.db.backends.signals import connection_created
​
​
    def callback(sender, **kwargs): #sender表示信号触发者
        print("xxoo_callback")
        print(sender,kwargs)
​
    xxoo.connect(callback)
    # xxoo指上述导入的内容    例如：post_save.connect(callback)
View Code

  • 示例:

    • models.py

      from django.shortcuts import render
from app01 import models
​
​
def student_list(request,*args,**kwargs):
    #信号测试
    models.Student.objects.create(name="王五")
    
    obj = models.Student.objects.get(name="张三")
    obj.anme = "赵六"
    obj.save()
    return render(request,"student_list.html",{"students":students})
      View Code

    • init.py

      from django.db.models.signals import pre_save, post_save
​
#写法一:
def callback(sender, **kwargs):  # sender表示信号触发者
    print("xinghao_callback")
    print(sender, kwargs)
​
post_save.connect(callback)
​
​
#写法二:
from django.db.models.signals import pre_save, post_save
from django.dispatch import receiver
​
@receiver(post_save)
def callback1(sender, **kwargs):
    print("callback1")
      View Code

2.2 自定义信号

  • 第一步:定义信号

    在某py文件或者项目或者应用的init.py文件中定义信号。

    import django.dispatch
pizza_done = django.dispatch.Signal(providing_args=["toppings", "size"])
#toppings和size这两个参数名称是随意取的昂，不是固定的，但是使用的时候关键字传餐的时候，要和这两个参数的名称对应好，可以通过设置参数来进行一个判断处理等操作
    View Code

  • 第二步:注册信号

    在init.py 中注册信号

    def callback(sender, **kwargs):
    print("callback")
    print(sender,kwargs)
 
pizza_done.connect(callback)
    View Code

  • 第三步:触发信号

    from 路径 import pizza_done
 
pizza_done.send(sender='seven',toppings=123, size=456)
    View Code

    由于内置信号的触发者已经集成到Django中，所以其会自动调用，而对于自定义信号则需要开发者在任意位置触发。

    • 示例

      • xinghao.py

        import django.dispatch
pizza_done = django.dispatch.Signal(providing_args=["toppings", "size"])
        View Code

      • init.py

        from xinghao import pizza_done
from django.dispatch import receiver
​
@receiver(pizza_done)
def callback2(sender, **kwargs):
    print("callback2")
    print(sender, kwargs)
        View Code

      • views.py

        from django.shortcuts import render
from app01 import models
​
import time
from xinghao import pizza_done
​
def student_list(request,*args,**kwargs):
    students = models.Student.objects.all()
​
    pizza_done.send(sender='xxxx',k1=666)
​
    return render(request,"student_list.html",{"students":students})
        View Code

3.orm性能

  • 1.尽量不用对象,而是使用 values()

  • 2.select_related('classes') 连表查询 多对一 一对一

  • 3.prefetch_related('classes') 子查询 多对一 多对多

  • 4.only('name') 指定某些字段 defer 指定排除某些字段

    再去了解 queryset 特性`

    from django.shortcuts import render,HttpResponse
from app01 import models
​
import time
from xinghao import pizza_done
​
def student_list(request,*args,**kwargs):
    students = models.Student.objects.all()
    return render(request,"student_list.html",{"students":students})
​
​
def index(request):
    ret = models.Student.objects.all()
    for i in ret:
        print(i.name,i.classes.name)
​
    print("********11111111111*************")
    ret1 = models.Student.objects.values("name","classes__name")
    for i in ret1:
        print(i["name"],i["classes__name"])
​
    print("********22222222222*************")
    # select_related 连表查询:多对一,一对一
    ret2 = models.Student.objects.all().select_related("classes")
    for i in ret2:
        print(i.name,i.classes.name)
​
    print("********33333333333*************")
​
    # prefetch_related 子查询: 多对一   多对多
    ret3 = models.Student.objects.all().prefetch_related("classes")
    for i in ret3:
        print(i.name,i.classes.name)
​
    print("********44444444444*************")
    # only 指定某些字段
    # defer  指定排除某些字段
    ret4 = models.Student.objects.all().only("name")
    for i in ret4:
        print(i.name)
    ret5 = models.Student.objects.all().defer("name")
    for i in ret5:
        print(i.classes_id)
    return render(request,"index.html")
    View Code

4.多数据库配置

首先生成其他数据库

  • settings.py

    DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
    },
    'db2': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': os.path.join(BASE_DIR, 'db2.sqlite3'),
    },
}
    View Code

    迁移其他的数据库

    python manage.py makemigrations
python manage.py migrate --database db2
    View Code

4.1 读写分离

  • 方式一:手动

    from django.shortcuts import render
from app01 import models
​
​
import time
from xinghao import pizza_done
​
def student_list(request,*args,**kwargs):
    students = models.Student.objects.all()
    return render(request,"student_list.html",{"students":students})
​
​
def index(request):
    # ret = models.Student.objects.all().using("db2")
    # print(ret)
    # models.Student.objects.using("db2").create(name="朱七",classes_id=1)
    # print(ret,"*****")
    obj = models.Student.objects.using("db2").get(name="朱七")
    obj.name = "太白"
    obj.save()
    return render(request,"index.html")
    View Code

  • 方式二:自动

    • myrouter.py

      #文件名任意,但要注意和setting.py中同名
class Router:
    """
    读写分离
    """
    def db_for_read(self, model, **kwargs):
        return 'default'
​
    def db_for_write(self, model, **kwargs):
        return 'db2'
      View Code

    • settings配置:

      DATABASE_ROUTERS = ['myrouter.Router']
      View Code

4.2 一主多从

  • myrouter.py

    import random
class Router:
    """
    一主多从
    """
​
    def db_for_write(self, model, **kwargs):
        return 'db1'
​
    def db_for_read(self, model, **kwargs):
        return random.choices['db2', 'db3', 'db4']
    View Code

  • settings配置:

    DATABASE_ROUTERS = ['myrouter.Router']

4.3 分库分表

  • myrouter.py

    class Router:
    """
    分库分表
​
    app01  model   db1
    app02  model   db2
    """
    def db_for_write(self, model, **kwargs):
        app_name = model._meta.app_label
        if app_name == 'app01':
            return 'db1'
        elif app_name == 'app02':
            return 'db2'
​
    def db_for_read(self, model, **kwargs):
        app_name = model._meta.app_label
        if app_name == 'app01':
            return 'db1'
        elif app_name == 'app02':
            return 'db2'
    View Code

  • settings配置:

    DATABASE_ROUTERS = ['myrouter.Router']

5.django执行原生SQL的方法

import os
import django
​
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "learnHC.settings")
django.setup()
​
from app01 import models
​
# 1. extra
ret = models.Student.objects.all().extra(where=['id > %s'], params=['1'], order_by=['-id'])
# print(ret)
# for i in ret:
#     print(i)
​
​
# 2. raw
ret = models.Student.objects.raw('select * from main.app01_classes where id <= 2')
print(ret)
for i in ret:
    print(i.name)
    
# 3 connection
from django.db import connection, connections
​
# cursor = connection.cursor()
cursor = connections['db2'].cursor()
cursor.execute("""SELECT * from main.app01_classes where id > %s""", [1])
row = cursor.fetchall()
print(row)
View Code
posted @ 2020-07-18 16:16  Primrose  阅读(127)  评论(0)  编辑  收藏  举报