MySQL高级篇之第02章 MySQL的数据目录

第02章 MySQL的数据目录

1. MySQL8的主要目录结构

find / -name mysql

安装好MySQL 8之后，我们查看如下的目录结构：

image-20220528152004414

1.1 数据库文件的存放路径

MySQL数据库文件的存放路径：/var/lib/mysql/

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件，之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中，这个目录就称为数据目录。

MySQL把数据都存到哪个路径下呢?其实数据目录对应着一个系统变量datadir，我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了:

mysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| datadir       | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.01 sec)

1.2 相关命令目录

相关命令目录：/usr/bin 和/usr/sbin。

image-20220528152243021

安装目录下非常重要的bin目录，它里边存储了许多关于控制客户端程序和服务器程序的命令(许多可执行文件，比如mysql,mysqld ,mysqld_safe等)。而数据目录是用来存储MySQL在运行过程中产生的数据，注意区分开二者。

1.3 配置文件目录

配置文件目录：/usr/share/mysql-8.0（命令及配置文件），/etc/mysql（如my.cnf）

image-20220528152332614

2. 数据库和文件系统的关系

像InnoDB、MyISAM这样的存储引擎都是把表存储在磁盘上的，操作系统用来管理磁盘的结构被称为文件系统，所以用专业一点的话来表述就是:像InnoDB、MyISAM这样的存储|擎都是把表存储在文件系统上的。当我们想读取数据的时候，这些存储引擎会从文件系统中把数据读出来返回给我们，当我们想写入数据的时候，这些存储引擎会把这些数据又写回文件系统。本章学习一下InnoDB和MyISAM这两个存储引擎的数据如何在文件系统中存储。

2.1 查看默认数据库

查看一下在我的计算机上当前有哪些数据库：show databases;

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.00 sec)

可以看到有4个数据库是属于MySQL自带的系统数据库。

  • mysql
    MySQL 系统自带的核心数据库，它存储了MySQL的用户账户和权限信息，一些存储过程、事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。
  • information_schema
    MySQL 系统自带的数据库，这个数据库保存着MySQL服务器 维护的所有其他数据库的信息 ，比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据，而是一些描述性信息，有时候也称之为 元数据 。在系统数据库 information_schema 中提供了一些以innodb_sys 开头的表，用于表示内部系统表。
mysql> USE information_schema;
Database changed
mysql> SHOW TABLES LIKE 'innodb_sys%';
+--------------------------------------------+
| Tables_in_information_schema (innodb_sys%) |
+--------------------------------------------+
| INNODB_SYS_DATAFILES            |
| INNODB_SYS_VIRTUAL             |
| INNODB_SYS_INDEXES             |
| INNODB_SYS_TABLES             |
| INNODB_SYS_FIELDS             |
| INNODB_SYS_TABLESPACES           |
| INNODB_SYS_FOREIGN_COLS          |
| INNODB_SYS_COLUMNS             |
| INNODB_SYS_FOREIGN             |
| INNODB_SYS_TABLESTATS           |
+--------------------------------------------+
10 rows in set (0.00 sec)
  • performance_schema
    MySQL 系统自带的数据库，这个数据库里主要保存MySQL服务器运行过程中的一些状态信息，可以用来 监控 MySQL 服务的各类性能指标 。包括统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等信息。
  • sys
    MySQL 系统自带的数据库，这个数据库主要是通过 视图 的形式把 information_schema 和 performance_schema 结合起来，帮助系统管理员和开发人员监控 MySQL 的技术性能。

2.2 数据库在文件系统中的表示

看一下我的计算机上的数据目录下的内容：

[root@atguigu1 ~]# cd /var/lib/mysql
[root@atguigu1 mysql]# ll
总用量 188884
-rw-r-----. 1 mysql mysql       56 5月  27 12:47 auto.cnf
-rw-r-----. 1 mysql mysql      179 5月  27 12:49 binlog.000001
-rw-r-----. 1 mysql mysql      476 5月  27 15:35 binlog.000002
-rw-r-----. 1 mysql mysql     1737 5月  28 13:52 binlog.000003
-rw-r-----. 1 mysql mysql      156 5月  28 13:52 binlog.000004
-rw-r-----. 1 mysql mysql       64 5月  28 13:52 binlog.index
-rw-------. 1 mysql mysql     1676 5月  27 12:47 ca-key.pem
-rw-r--r--. 1 mysql mysql     1112 5月  27 12:47 ca.pem
-rw-r--r--. 1 mysql mysql     1112 5月  27 12:47 client-cert.pem
-rw-------. 1 mysql mysql     1680 5月  27 12:47 client-key.pem
-rw-r-----. 1 mysql mysql   196608 5月  28 13:54 #ib_16384_0.dblwr
-rw-r-----. 1 mysql mysql  8585216 5月  27 12:47 #ib_16384_1.dblwr
-rw-r-----. 1 mysql mysql     3460 5月  27 12:49 ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 5月  28 13:52 ibdata1
-rw-r-----. 1 mysql mysql 50331648 5月  28 13:54 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 5月  27 12:46 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 5月  28 13:52 ibtmp1
drwxr-x---. 2 mysql mysql     4096 5月  28 13:52 #innodb_temp
drwxr-x---. 2 mysql mysql     4096 5月  27 12:47 mysql
-rw-r-----. 1 mysql mysql 25165824 5月  28 13:52 mysql.ibd
srwxrwxrwx. 1 mysql mysql        0 5月  28 13:52 mysql.sock
-rw-------. 1 mysql mysql        4 5月  28 13:52 mysql.sock.lock
drwxr-x---. 2 mysql mysql     4096 5月  27 12:47 performance_schema
-rw-------. 1 mysql mysql     1676 5月  27 12:47 private_key.pem
-rw-r--r--. 1 mysql mysql      452 5月  27 12:47 public_key.pem
-rw-r--r--. 1 mysql mysql     1112 5月  27 12:47 server-cert.pem
-rw-------. 1 mysql mysql     1680 5月  27 12:47 server-key.pem
drwxr-x---. 2 mysql mysql     4096 5月  27 12:47 sys
-rw-r-----. 1 mysql mysql 16777216 5月  28 13:54 undo_001
-rw-r-----. 1 mysql mysql 16777216 5月  28 13:54 undo_002

这个数据目录下的文件和子目录比较多，除了 information_schema 这个系统数据库外，其他的数据库在 数据目录 下都有对应的子目录。

以我的 temp 数据库为例，在MySQL5.7 中打开：

[root@atguigu02 mysql]# cd ./temp
[root@atguigu02 temp]# ll
总用量 1144
-rw-r-----. 1 mysql mysql  8658 8月  18 11:32 countries.frm
-rw-r-----. 1 mysql mysql 114688 8月  18 11:32 countries.ibd
-rw-r-----. 1 mysql mysql   61 8月  18 11:32 db.opt
-rw-r-----. 1 mysql mysql  8716 8月  18 11:32 departments.frm
-rw-r-----. 1 mysql mysql 147456 8月  18 11:32 departments.ibd
-rw-r-----. 1 mysql mysql  3017 8月  18 11:32 emp_details_view.frm
-rw-r-----. 1 mysql mysql  8982 8月  18 11:32 employees.frm
-rw-r-----. 1 mysql mysql 180224 8月  18 11:32 employees.ibd
-rw-r-----. 1 mysql mysql  8660 8月  18 11:32 job_grades.frm
-rw-r-----. 1 mysql mysql  98304 8月  18 11:32 job_grades.ibd
-rw-r-----. 1 mysql mysql  8736 8月  18 11:32 job_history.frm
-rw-r-----. 1 mysql mysql 147456 8月  18 11:32 job_history.ibd
-rw-r-----. 1 mysql mysql  8688 8月  18 11:32 jobs.frm
-rw-r-----. 1 mysql mysql 114688 8月  18 11:32 jobs.ibd
-rw-r-----. 1 mysql mysql  8790 8月  18 11:32 locations.frm
-rw-r-----. 1 mysql mysql 131072 8月  18 11:32 locations.ibd
-rw-r-----. 1 mysql mysql  8614 8月  18 11:32 regions.frm
-rw-r-----. 1 mysql mysql 114688 8月  18 11:32 regions.ibd

在MySQL8.0中打开：

[root@atguigu01 mysql]# cd ./temp
[root@atguigu01 temp]# ll
总用量 1080
-rw-r-----. 1 mysql mysql 131072 7月  29 23:10 countries.ibd
-rw-r-----. 1 mysql mysql 163840 7月  29 23:10 departments.ibd
-rw-r-----. 1 mysql mysql 196608 7月  29 23:10 employees.ibd
-rw-r-----. 1 mysql mysql 114688 7月  29 23:10 job_grades.ibd
-rw-r-----. 1 mysql mysql 163840 7月  29 23:10 job_history.ibd
-rw-r-----. 1 mysql mysql 131072 7月  29 23:10 jobs.ibd
-rw-r-----. 1 mysql mysql 147456 7月  29 23:10 locations.ibd
-rw-r-----. 1 mysql mysql 131072 7月  29 23:10 regions.ibd

2.3 表在文件系统中的表示

2.3.1 InnoDB存储引擎模式

1. 表结构

为了保存表结构，InnoDB在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件

表名.frm

比方说我们在 atguigu 数据库下创建一个名为 test 的表：

mysql> USE atguigu;
Database changed
mysql> CREATE TABLE test (
 ->   c1 INT
 -> );
Query OK, 0 rows affected (0.03 sec)

那在数据库 atguigu 对应的子目录下就会创建一个名为 test.frm 的用于描述表结构的文件。.frm文件的格式在不同的平台上都是相同的。这个后缀名为.frm是以 二进制格式 存储的，我们直接打开是乱码的。

2. 表中数据和索引

① 系统表空间（system tablespace）

默认情况下，InnoDB会在数据目录下创建一个名为ibdata1、大小为12M的自拓展文件，这个文件就是对应的系统表空间在文件系统上的表示。

当然，如果你想让系统表空间对应文件系统上多个实际文件，或者仅仅觉得原来的 ibdata1 这个文件名难听，那可以在MySQL启动时配置对应的文件路径以及它们的大小，比如我们这样修改一下my.cnf 配置
文件：

[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在MySQL启动之后就会创建这两个512M大小的文件作为系统表空间，其中的autoextend表明这两个文件如果不够用会自动扩展data2文件的大小。

需要注意的一点是，在一个MySQL服务器中，系统表空间只有一份。从MysQL5.5.7到MySQL5.6.6之间的各个版本中，我们表中的数据都会被默认存储到这个系统表空间。

② 独立表空间(file-per-table tablespace)

在MySQL5.6.6以及之后的版本中，InnoDB并不会默认的把各个表的数据存储到系统表空间中，而是为每一个表建立一个独立表空间，也就是说我们创建了多少个表，就有多少个独立表空间。使用独立表空间来存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件，文件名和表名相同。只不过添加了一个 .ibd 的扩展名而已，所以完整的文件名称长这样：

表名.ibd

比如：我们使用了 独立表空间 去存储 atguigu 数据库下的 test 表的话，那么在该表所在数据库对应的 atguigu 目录下会为 test 表创建这两个文件：

test.frm
test.ibd

其中 test.ibd 文件就用来存储 test 表中的数据和索引。

MySQL8.0中不再单独提供表名.frm，而是合并在表名.ibd文件中。

③ 系统表空间与独立表空间的设置

我们可以自己指定使用系统表空间还是独立表空间来存储数据，这个功能由启动参数innodb_file_per_table控制，比如说我们想刻意将表数据都存储到 系统表空间 时，可以在启动
MySQL服务器的时候这样配置：

[server] 
innodb_file_per_table=0 # 0：代表使用系统表空间； 1：代表使用独立表空间

默认情况：

mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name     | Value |
+-----------------------+-------+
| innodb_file_per_table | ON  |
+-----------------------+-------+
1 row in set (0.01 sec)

④ 其他类型的表空间

随着MySQL的发展，除了上述两种老牌表空间之外，现在还新提出了一些不同类型的表空间，比如通用表空间（general tablespace）、临时表空间（temporary tablespace）等。

3. 疑问

.frm在MySQL8中不存在了。那去哪里了呢?

这就需要解析ibd文件。Oracle官方将frm文件的信息及更多信息移动到叫做序列化字典信息(Serialized DictionaryInformation，SDI)，SDI被写在ibd文件内部。MySQL 8.0属于oracle旗下，同理。
为了从IBD文件中提取SDl信息，Oracle提供了一个应用程序ibd2sdi。

=== ibd2sdi官方文档===

这个工具不需要下载，MySQL8自带的有，只要你配好环境变量就能到处用。

(1）查看表结构

到存储ibd文件的目录下，执行下面的命令:

[root@atguigu1 atguigu]# 
[root@atguigu1 atguigu]# ibd2sdi --dump-file=test.txt test.ibd 
[root@atguigu1 atguigu]# ll
总用量 92
-rw-r-----. 1 mysql mysql 114688 5月  28 15:55 test.ibd
-rw-------. 1 root  root    9392 5月  28 17:42 test.txt
[root@atguigu1 atguigu]# 
[root@atguigu1 atguigu]# cat test.txt

image-20220528174839548

通过上面的测试结果可以发现，MySQL8把之前版本的frm文件合并到ibd文件中了。

2.3.2 MyISAM存储引擎模式

1. 表结构

在存储表结构方面， MyISAM 和 InnoDB 一样，也是在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件

表名.frm

2. 表中数据和索引

在MyISAM中的索引全部都是二级索引，该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件，同时表数据都存放在对应的数据库子目录下。

test.frm 存储表结构 -- MySQL8.0 改为了 b.xxx.sdi
test.MYD 存储数据 (MYData) 
test.MYI 存储索引 (MYIndex)

举例：创建一个 MyISAM 表，使用 ENGINE 选项显式指定引擎。因为 InnoDB 是默认引擎。

CREATE TABLE `student_myisam` (
`id` bigint NOT NULL AUTO_INCREMENT,
`name` varchar(64) DEFAULT NULL,
`age` int DEFAULT NULL,
`sex` varchar(2) DEFAULT NULL,
PRIMARY KEY (`id`)
)ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;

创建数据表后，查看 对应的数据库目录

image-20220528183429955

image-20220528182719630

包含三个文件：

student_myisam .frm --存储表结构
student_myisam.MYD --存储数据
student_myisam . MYI--存储索引

可以发现，在之前的数据库版本中，MyISAM引擎已存在frm文件，但是在MySQL8之后也和InnoDB引擎一样去掉了，放入了sdi文件中。

2.4 小结

举例： 数据库a ， 表b 。

1、如果表b采用 InnoDB ，data\a中会产生1个或者2个文件：

  • b.frm ：描述表结构文件，字段长度等
  • 如果采用 系统表空间 模式的，数据信息和索引信息都存储在 ibdata1 中
  • 如果采用 独立表空间 存储模式，data\a中还会产生 b.ibd 文件（存储数据信息和索引信息）

此外：
① MySQL5.7 中会在data/a的目录下生成 db.opt 文件用于保存数据库的相关配置。比如：字符集、比较规则。而MySQL8.0不再提供db.opt文件。
② MySQL8.0中不再单独提供b.frm，而是合并在b.ibd文件中。

2、如果表b采用 MyISAM ，data\a中会产生3个文件：

  • MySQL5.7 中： b.frm ：描述表结构文件，字段长度等。
    MySQL8.0 中 b.xxx.sdi ：描述表结构文件，字段长度等
  • b.MYD (MYData)：数据信息文件，存储数据信息(如果采用独立表存储模式)
  • b.MYI (MYIndex) ：存放索引信息文件

2.5 视图在文件系统中的表示

我们知道MysQL中的视图其实是虚拟的表，也就是某个查询语句的一个别名而已，所以在存储视图的时候是不需要存储真实的数据的，只需要把它的结构存储起来就行了。和表一样，描述视图结构的文件也会被存储到所属数据库对应的子目录下边，只会存储一个视图名.frm的文件。如下图中的: emp_details_view.frm

image-20220528184117999

2.6 其他的文件

除了我们上边说的这些用户自己存储的数据以外，数据目录下还包括为了更好运行程序的一些额外文件，主要包括这几种类型的文件:

  • 服务器进程文件

    • 我们知道每运行一个MySQL服务器程序，都意味着启动一个进程。MySQL服务器会把自己的进程ID写入到一个文件中。

  • 服务器日志文件

    • 在服务器运行过程中，会产生各种各样的日志，比如常规的查询日志、错误日志、二进制日志、redo日志等。这些日志各有各的用途，后面讲解。

  • 默认/自动生成的SSL和RSA证书和密钥文件

    • 主要是为了客户端和服务器安全通信而创建的一些文件。
posted @ 2022-06-11 17:14  努力&选择  阅读(249)  评论(0)    收藏  举报