数据库

数据库

范数

• 1nf 属性值不可再分
• 2nf 消除非主属性的 部分函数依赖 - > 每个非主属性都完全依赖于候选键 避免出现冗余行
• 3nf 消除非主属性的 传递函数依赖
• bcnf 消除主属性的传递函数依赖

连接

• 内连接 inner join 只返回两张表匹配的记录
• 全连接 外连接 （outter） join 返回两张表匹配的记录 与 各自的多余记录
• 左连接 left join 返回A表的多余记录 与匹配的记录
• 右连接 right join 返回匹配的记录 和 B表多余的记录

事务

• 事务是构成单一逻辑单元的操作集合

ACID特性

• A atom 原子性 db的所有操作是一个不可分割的工作单元，保证了事务对数据库的操作不会丢失
• C cosistent 一致性 数据不会因为事务的执行而遭到破坏 保证了事务对数据库操作的正确执行
• I isolate 隔离性 事务并发执行和单独执行的结果是一样的 ，并发的事务不必关心其他事务
• D durable 持久性 事务对db的更新永久的反映在db中 保证了db的可恢复性

并发带来的问题

• 丢失更新 一个事务的更新被另外一个事务的更新替换 A事务先提交修改 B事务后提交修改 覆盖了A事务的修改
• 读脏数据 一个事务可以读取到另外事务未提交的数据 A事务读取 B事务修改的数据，但B未提交，若B撤销 则A读的就是脏数据
• 不可重复读 一个事务内多次读同一个数据 数据前后不一致 A事务多次读同一个数据 同时B事务修改了该数据 A事务发现多次读的同一个数据值不同
• 幻读： 一个事务多次读取数据的条数，数据的条数前后不一致。 事务读到了 其他事务新插入的数据 （1、MVCC加当前读（for update/insert/select） 2通过MVCC+next-key lock解决）

封锁协议

• 一级封锁协议： 写时加x锁 写完释放 避免丢失更新
• 二级： 在1级的基础上加上 读时加s锁 读完释放s锁 避免读脏数据 因为1级加X锁 读的时候加s锁加不上
• 三级： 在1级的基础上加上 读时加s锁 事务结束后释放 避免不可重复读 读的时候 其他事务不能加x锁了

事务的隔离级别

• 读未提交 Read uncommited 避免丢失更新

• 读提交 read commited 避免读脏数据

• 可重复读取 repeatable read 避免不可重复读 （MYSQL 默认）

  • 读时不加锁，写加锁
  • 事务开始前创建ReadView判断可见性，并从版本链表中找到第一个对当前事务可见的版本读这个版本
  • 写加锁

• 可序列化 serializble 事务一个个序列化执行 不能并发执行

• mysql默认级别是可重复读 不能解决幻读问题 解决幻读要加行间锁

基本锁

• 共享锁 share locks s锁 读锁 多个事务可以对对象T 加s锁 但只能同时读 不能写 此时也不能加 排他锁
• 排他锁 exclusive locks x锁 写锁： 事务A对对象T加x锁后 其他的事务 不能再对此对象加任何锁 直到A释放x锁

封锁带来的问题

• 活锁： 某个事务永远等待 解决方法：先来先服务，提升优先级
• 饿死： 事务序列中的每个事务都要对某数据加s锁 且在短时间内释放 那若又一个事务要对其加x锁 则永远轮不上 解决方法：加s锁前 检查是否有先于自己申请的加x锁的事务
• 死锁：多个事务竞争同一资源 造成相互等待 若无外力推进 则一直等待

SQL 语言的四大类

• 数据库定义语言 创建数据库中的对象 表 视图 索引 聚簇create table view index cluster
• 数控操纵语言 insert update delete
• 数据库控制语言 grant 授权 rollback 回滚到上次提交 commit提交 revoke
• 数据库查询语言： select from where

索引

索引是一种特殊的数据库结构，由表中的一列或者多列组合而成，可以用来快速查询数据表中是否由特定值的记录。通过索引，查数据的时候不用读完所有的记录，只使查询索引列，否则数据库将读取所有的信息进行匹配。

索引应该在哪些字段上建立 更新不频繁 具有区分性（判断 ）

• 优点：
• 大大加快数据的查询速度
• 避免排序和临时表
• 可以减少分组和排序的时间

---

缺点：

• 创建和维护索引较为耗时，在数据进行 增删改的时候 也需要动态维护索引 较为耗时
• 索引 占据磁盘空间

索引失效

带头大哥不能死 中间兄弟不能断，顺序颠倒不影响

• or 查询字段 部分未使用索引
• 使用了左模糊 %
• 查询时 数据类型错误 例如索引的类型是字符串 而查询时写成int类型
• 不符合 左前缀 a ab abc 生效例如index(a,b,c) 不查a 只查bc 或分别查b c 都不能利用索引
• is null 无法使用索引 mysql建议索引不为空
• 索引的列不独立 就是指被索引的列 不能是表达式的一部分 不能是函数的参数
• 范围查询会失效

explain 分析

• 如何查看是否生效 sql语句加上explain可以进行查询分析
• 表的读取顺序数据
• 读取操作的操作类型
• 哪些索引可以使用
• 哪些索引被实际使用
• 表之间的引用
• 每张表有多少行被优化器查询

哈希表

• 哈希函数的构造方法：

• 直接定址法 地址大小要等于关键字集合

• 伪随机数法 （用于关键字长度不同）

• 平方取中法（取中间几位）

• 除留余数法 除的这个数 最好是个质数

• 解决冲突的方法：

• 开放定址： 线性探测再散列 平方探测再散列

• 链地址法（拉链法）

• 再散列法

聚簇索引

• 主键一定是聚簇索引 聚簇索引会存整行数据
• 联合索引 只存索引字段和主键 当查询非索引字段时 要回表 查询聚簇索引找到要查询的字段

B+树

• InnoDB
• 非叶子节点只存储key，叶子节点只存储记录（叶子节点内部数据是顺序存储的），叶子节点之间用链表连起来
• 由于叶子节点之间使用链表相连，便于整表查询，范围查询
• 查询效率稳定：每次只有查到叶子节点才能查到数据
• 查询效率高：由于非叶子节点只存key，所占的空间较小，因此一个非叶子节点上可以存多个key，查找的时候再使用，最后形成一个又矮又胖的树，在非叶子节点上可以根据二分法找到数据的位置，树又比较矮所以效率高

mysql 建库

• mysql -uroot -p12345 # 输入密码进入mysql
• show databases 显示数据库
• create database databasename 创建数据库
• use databasename 选择数据库

SQL注入

• sql注入就是在用户输入字符串中加入SQL语句，如果设计不良的程序中忽略了检查，这些注入的SQL语句就会被数据库服务器认为是正常的SQL 语句运行，攻击者就会执行计划外的命令 或 访问未被授权的数据
• 如何避免
• 过滤输入内容，校验字符串
• 参数化查询 不会将参数作为sql语句的一部分处理 而是在编译完成后 套用参数运行
• 安全测试 安全审计
• 避免使用动态SQL
• 限制数据库权限
• 避免向用户显示数据库错误

sql 语句

• 获取当前日期 select GETDATE()

Redis

基本数据类型

Redis是非关系型键值数据库，可存储键和五种类型之间的映射
键的类型只能为字符串
值的类型有五种：

• STRING 字符串 整数 浮点数
  • 计数器
• LIST 列表 两端压入或弹出
  • 可以用于消息队列 lpush rpop写入读取消息 最好使用Kafka RabbitMQ等消息中间件
• SET 无序集合
  • 实现交集 并集 从而实现共同好友
• HASH 键值队的无序散列表
• ZSET 有序集合（跳跃表）
  • 可实现有序性操作 实现排行榜

应用：

• 缓存：热点数据放入内存 设置最大使用量 淘汰策略保证缓存命中率
• 查找表
• 会话缓存： 使用Redis存储多台应用服务器的会话信息，当服务器不存储用户会话信息时，服务器不再具有状态，用户可以请求任意一个服务器，实现高可用和可伸缩

跳跃表 ZSET底层实现

数据淘汰策略 6种

• noeviction 不淘汰，满了抛出异常
• allkeys-random 对所有数据 随机选择淘汰
• allkeys-lru 对所有数据 将最近最少使用的数据淘汰
• volatile-random 对已设置过期时间的数据 随机选择淘汰
• volatile-lru 对已设置过期时间的数据 lru淘汰 least rencently used
• volatile-ttl 对已设置过期时间的数据 挑选即将过期的数据淘汰
• 4.0 中新增2种 volatile-lfu allkeys-lfu 通过访问频率淘汰 least frquency used
• 可设置键的过期时间，键过期的时候 会自动删除该键