用dockers实现mysql主从同步

首先要先看看当前的mysql的版本是什么,可以通过下面命令查看

mysql --version

最好是安装在docker中的mysql和你宿主机器中的mysql版本一致。

我的是mysql5.7.22的。这里提供一下对应的镜像:https://pan.baidu.com/s/1CLN9_LseiUpCO0Vzv6WLPw

1. 主从同步的定义

主从同步使得数据可以从一个数据库服务器复制到其他服务器上,在复制数据时,一个服务器充当主服务器(master),其余的服务器充当从服务器(slave)。因为复制是异步进行的,所以从服务器不需要一直连接着主服务器,从服务器甚至可以通过拨号断断续续地连接主服务器。通过配置文件,可以指定复制所有的数据库,某个数据库,甚至是某个数据库上的某个表。

使用主从同步的好处:

(1) 通过增加从服务器来提高数据库的性能,在主服务器上执行写入和更新,在从服务器上向外提供读功能,可以动态地调整从服务器的数量,从而调整整个数据库的性能。

(2) 提高数据安全,因为数据已复制到从服务器,从服务器可以终止复制进程,所以,可以在从服务器上备份而不破坏主服务器相应数据

(3) 在主服务器上生成实时数据,而在从服务器上分析这些数据,从而提高主服务器的性能

2. 主从同步的机制

Mysql服务器之间的主从同步是基于二进制日志机制,主服务器使用二进制日志来记录数据库的变动情况,这些变动通常是通过执行sql语句来执行,主服务器执行完sql语句之后,将执行的sql语句生成的二进制文件,存到二进制日志中,从服务器通过读取和执行该日志文件来保持和主服务器的数据一致。只要主的执行新的sql语句,它一定会把执行sql语句放到二进制文件中传过来,然后从都不需要编译,直接执行这个编译好的sql语句就可以了。

我们不需要去管这个主从直接什么时候传输或者延时,因为它们之间一直有一个tcp的连接,只要主有更新就会立即发送给从。

在使用二进制日志时,主服务器的所有操作都会被记录下来,然后从服务器会接收到该日志的一个副本。从服务器可以指定执行该日志中的哪一类事件(譬如只插入数据或者只更新数据),默认会执行日志中的所有语句。

每一个从服务器会记录关于二进制日志的信息:文件名和已经处理过的语句,这样意味着不同的从服务器可以分别执行同一个二进制日志的不同部分,并且从服务器可以随时连接或者中断和服务器的连接。

主服务器和每一个从服务器都必须配置一个唯一的ID号(在my.cnf文件的[mysqld]模块下有一个server-id配置项),另外,每一个从服务器还需要通过CHANGE MASTER TO语句来配置它要连接的主服务器的ip地址,日志文件名称和该日志里面的位置(这些信息存储在主服务器的数据库里)

可以看到从服务器一直是用来备份主服务器的数据,那么我们能不能把从利用起来,也帮忙处理数据,减少主服务器的压力呢。关于数据库的操作,80%都是对数据库的查的操作,所以我们让主服务器完成增删改,让从服务器完成查。

3. 配置主从同步的基本步骤

有很多种配置主从同步的方法,可以总结为如下的步骤:

(1) 在主服务器上,必须开启二进制日志机制和配置一个独立的ID

(2) 在每一个从服务器上,配置一个唯一的ID,创建一个用来专门复制主服务器数据的账号

(3) 在开始复制进程前,在主服务器上记录二进制文件的位置信息

(4) 如果在开始复制之前,数据库中已经有数据,就必须先创建一个数据快照(可以使用mysqldump导出数据库,或者直接复制数据文件)

(5) 配置从服务器要连接的主服务器的IP地址和登陆授权,二进制日志文件名和位置

4. 详细配置主从同步的方法

1)安装mysql

我的当前宿主环境为Ubuntu,里面已经有安装一台mysql了,现在使用docker安装另外一台mysql

获取mysql的镜像,主从同步尽量保证多台mysql的版本相同,我的ubuntu中存在的mysql是5.7.22版本,所以获取5.7.22版本的镜像

docker image pull mysql:5.7.22
或
docker load -i mysql_docker_5722.tar

运行mysql docker镜像,需要在宿主机中建立文件目录用于mysql容器保存数据和读取配置文件。

在家目录中(/home/python)中创建目录,将mysql的配置文件放到此目录中

cd ~
mkdir mysql_slave
cd mysql_slave
mkdir data
cp -r /etc/mysql/mysql.conf.d ./

我们要将docker运行的mysql作为slave来运行,开启前需要修改配置文件。

编辑 ~/mysql_slave/mysql.conf.d/mysqld.cnf 文件,修改

port  =  8306  # 往大设一些,数字小的端口可能有应用占了,别出现端口冲突
general_log  = 0  # 是否记录日志,0为关闭,1为开启
server-id  = 2  # 编号,因为是两台机器进行主从同步,那么两个机器的编号不能重复,重复的话无法标识自己的身份了,所以也要进行修改

如果使用的是我提供的镜像的话,先加载它

docker load -i mysql_docker_5722.tar 

然后将进行运行起来生成镜像

docker run --name mysql-slave -e MYSQL_ROOT_PASSWORD=mysql -d --network=host -v /home/python/mysql_slave/data:/var/lib/mysql -v /home/python/mysql_slave/mysql.conf.d:/etc/mysql/mysql.conf.d  mysql:5.7.22
  • MYSQL_ROOT_PASSWORD 是创建mysql root用户的密码

测试,在ubuntu中使用mysql命令尝试连接docker容器中的mysql

mysql -uroot -pmysql -h 127.0.0.1 --port=8306

显示的应该是这个

2)备份主服务器原有数据到从服务器

在同步之前,要先对数据进行冷备份。

注:从备份的时候又分为冷备份和热备份,冷备份就是让项目停下来,然后把数据库文件考出来,再放到从服务器中备份。还有一个是热备份,就是项目不停进行备份。
如果在设置主从同步前,主服务器上已有大量数据,可以使用mysqldump进行数据备份并还原到从服务器以实现数据的复制。
在主服务器Ubuntu上进行备份,执行命令:

mysqldump -uroot -p123 --all-databases --lock-all-tables > ~/master_db.sql
  • -u :用户名

  • -p :示密码

  • --all-databases :导出所有数据库

  • --lock-all-tables :执行操作时锁住所有表,防止操作时有数据修改

  • ~/master_db.sql :导出的备份数据(sql文件)位置,可自己指定

这时候文件就在你的当前路径下生成了。

在docker容器中导入数据

mysql -uroot -pmysql -h127.0.0.1 --port=8306 < ~/master_db.sql

3)配置主服务器master(Ubuntu中的MySQL)

编辑设置mysqld的配置文件,设置log_bin和server-id

sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf

server-id和log_bin一开始是被注释掉的,需要把#删除掉。主的server-id设置为1,log_bin这行是设置二进制文件存储的。

重启mysql服务

sudo service mysql restart

登入主服务器Ubuntu中的mysql,创建用于从服务器同步数据使用的帐号

从的需要用主服务器提供的账号和密码才能登陆进来,和主服务器进行同步。

mysql –uroot –p123

GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' identified by 'slave';

FLUSH PRIVILEGES;

注:关于数据库创建账号和给予权限的知识可以问问度娘。

获取主服务器的二进制日志信息

SHOW MASTER STATUS;

File为使用的日志文件名字,Position为使用的文件位置,这两个参数须记下,配置从服务器时会用到。

4)配置从服务器slave (docker中的mysql)

进入docker中的mysql

mysql -uroot -pmysql -h 127.0.0.1 --port=8306

执行

change master to master_host='127.0.0.1', master_user='slave', master_password='slave',master_log_file='mysql-bin.000001', master_log_pos=590;
  • master_host:主服务器Ubuntu的ip地址
  • master_log_file: 前面查询到的主服务器日志文件名
  • master_log_pos: 前面查询到的主服务器日志文件位置

启动slave服务器,并查看同步状态

start slave;
show slave status \G

都是yes表示正常运行了。

接下来在主服务器中创建一个数据库然后看看从服务器中有没有对应的产生,这里我就不测试了。

 

posted @ 2018-07-19 19:49  苦行僧95  阅读(249)  评论(0编辑  收藏  举报