mysql 主从同步

1.概述

Mysql内建的复制功能是构建大型，高性能应用程序的基础。
将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。

复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。

请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。

1.1 mysql支持的复制类型：

　　（１）：基于语句的复制（逻辑复制）:在主服务器上执行的SQL语句，在从服务器上执行同样的语句。
MySQL默认采用基于语句的复制，效率比较高。
一旦发现没法精确复制时，会自动选着基于行的复制。
　　（２）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.1开始支持
　　（３）：混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。

这两种方式都是通过在主库上记录二进制日志，在备库重放日志的方式来实现异步数据复制，
这意味着主从两库数据会存在一些延迟，
不要从高版本向低版本复制，数据库升级前要对复制做测试
复制通常不会增加主库负载，主要是启用二进制日志的负载；从库读取旧的二进制日志时可能会造成更好的I/O

1.2 . 复制解决的问题

         MySQL复制技术有以下一些特点：
         (1)   数据分布 (Data distribution )
         (2)   负载平衡(load balancing)
         (3)   备份(Backups)
         (4)   高可用性和容错行 High availability and failover

1.3 复制如何工作

整体上来说，复制有3个步骤：

(1) master将改变记录到二进制日志(binary log)中
（这些记录叫做二进制日志事件，binary log events）；
(2) slave将master的binary log events拷贝到它的中继日志(relay log)；

(3) slave重做中继日志中的事件，将改变反映它自己的数据。

下图描述了复制的过程：

该过程的第一部分：

在主库上记录二进制日志。在每次准备提交事务完成数据更新前，主库将数据更新的事件记录到二进制日志中。
MySQL将按事务提交的顺序而非每条语句的执行顺序来记录二进制日志，即使事务中的语句都是交叉执行的。
在事件写入二进制日志完成后，主库通知存储引擎提交事务。

第二步：

备库将主库的binary log拷贝到它本地自己的中继日志。
首先，备库开始一个工作线程——I/O线程。I/O线程与主库建立一个普通的连接，
然后在主库启动一个特殊的二进制转储线程 binlog dump process。
Binlog dump process从主库的二进制日志中读取事件，如果该线程已经跟上主库，它会睡眠并等待主库产生新的事件。
备库I/O线程会将接收到事件写入中继日志。

第三步：

备库的 SQL slave thread（SQL从线程）处理该过程的最后一步。
SQL线程从中继日志读取事件，并重放其中的事件而更新备库的数据，使其与主库中的数据一致。
只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。

此外，在master中也有一个工作线程：和其它MySQL的连接一样，slave在master中打开一个连接也会使得master开始一个线程。复制过程有一个很重要的限制——复制在slave上是串行化的，也就是说master上的并行更新操作不能在slave上并行操作。

2 .复制配置

有两台MySQL数据库服务器Master和slave，Master为主服务器，slave为从服务器，初始状态时，Master和slave中的数据信息相同，当Master中的数据发生变化时，slave也跟着发生相应的变化，使得master和slave的数据信息同步，达到备份的目的。

要点：
负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，这个日志记载着需要传输给从服务器的各种修改动作。

因此：
主服务器必须激活二进制日志功能。
从服务器必须具备足以让它连接主服务器并请求主服务器把二进制变更日志传输给它的权限。

准备工作：

1.在每台服务器上创建复制账号

2.配置主库和备库

3.通知备库连接到主库，并从主库复制数据

2.1、创建复制帐号

1、在主数据库中建立一个备份帐户：从库的I/O线程使用该备份账户连接到主库。
进行复制操作的备份账户会授予REPLICATION SLAVE权限。
用户名的密码都会存储在文本文件master.info中

建立一个帐户backup，并且只能允许从10.0.0.xxx这个地址上来登陆，密码是1234。

(如果因为mysql版本新旧密码算法不同，可以设置：set password for 'backup'@'10.100.0.200'=old_password('1234')）

在从库同样建立相同账户；
命令如下：

mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.*

->TO backup@'10.0.0.%' IDENTIFIED BY '1234';

注意：备份账户事实上只需要有主库的 REPLICATION SALVE 权限，
并不一定需要每一端服务器都有REPLICATION CLIENT权限。

replication slave：拥有此权限可以查看从服务器，从主服务器读取二进制日志。

replication client：拥有此权限可以查询master server、slave server状态。

为什么要在主从两个库建立相同权限的用户呢？

将来有需要时方便主从两库交换角色

2.2 配置主库

接下来对master进行配置，包括打开二进制日志，指定唯一的servr ID。
在配置文件加入如下值：

server-id=8

log-bin=mysql-bin

#server-id：为主库服务器的ID值，默认为1，这个值不能与其他服务器冲突；通常采用IP地址末位，

#log-bin：二进制变更日值

重启master；

运行SHOW MASTER STATUS，输出如下：

2.3 配置从库

server_id = 9
log_bin = mysql-bin
relay_log = /var/lib/mysql/mysql-relay-bin
log_slave_updates = 1
read_only

server_id：是必须的，不能重复

log_bin：二进制日志并不一定要开启，但是在一些情况下，必须设置，
例如，如果slave为其它slave的master，必须设置bin_log

relay_log: 配置中继日志位置和名字

log_slave_updates: 表示slave将复制事件写进自己的二进制日志(后面会看到它的用处)。

会增加一些备库的负载

注意：开启了slave的二进制日志，却没有开启log_slave_updates，这可能会出现一些问题，
例如slave的数据被改变。
所以，尽量使用read_only，它防止改变数据(除了特殊的线程)。
但是，read_only并是很实用，特别是那些需要在slave上创建表的应用。

注意：不要在my.cnf 中设置 master_port或 master_host 这是老的配置方式，已经被废弃。

2.4、启动slave从库

接下来就是让slave连接master，并开始重做master二进制日志中的事件。
这一步不要通过修改配置文件进行操作，而应该使用 CHANGE MASTER TO 语句，
该语句可以完全取代对配置文件的修改，而且它可以为slave指定不同的master，而不需要停止服务器。

如下：

mysql> CHANGE MASTER TO MASTER_HOST='10.0.0.42',

-> MASTER_USER='backup',

-> MASTER_PASSWORD='1234',

-> MASTER_LOG_FILE='mysql-bin.000001',

-> MASTER_LOG_POS=0;

MASTER_LOG_POS的值为0，因为它是日志的开始位置。

可以用SHOW SLAVE STATUS语句查看slave的设置是否正确：

mysql> SHOW SLAVE STATUS\G

*************************** 1. row ***************************

Slave_IO_State:

Master_Host: server1

Master_User: repl

Master_Port: 3306

Connect_Retry: 60

Master_Log_File: mysql-bin.000001

Read_Master_Log_Pos: 4

Relay_Log_File: mysql-relay-bin.000001

Relay_Log_Pos: 4

Relay_Master_Log_File: mysql-bin.000001

Slave_IO_Running: No

Slave_SQL_Running: No

...omitted...

Seconds_Behind_Master: NULL

Slave_IO_State, Slave_IO_Running, 和Slave_SQL_Running是No

表明slave还没有开始复制过程。日志的位置为4而不是0，这是因为0只是日志文件的开始位置，并不是日志位置。
实际上，MySQL知道的第一个事件的位置是4。

开始复制，你可以运行：

mysql> START SLAVE;

Query OK, 0 rows affected (0.01 sec)

从库运行SHOW SLAVE STATUS查看输出结果：

mysql> SHOW SLAVE STATUS\G

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: server1

Master_User: repl

Master_Port: 3306

Connect_Retry: 60

Master_Log_File: mysql-bin.000001

Read_Master_Log_Pos: 164

Relay_Log_File: mysql-relay-bin.000001

Relay_Log_Pos: 164

Relay_Master_Log_File: mysql-bin.000001

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

...omitted...

Seconds_Behind_Master: 0

在这里主要是看:
Slave_IO_Running=Yes
Slave_SQL_Running=Yes

在主库上查看备库I/O 线程发起的连接

mysql> show processlist\G;

*************************** 3. row ***************************
Id: 5
User: backup
Host: 10.0.0.43:47349
db: NULL
Command: Binlog Dump
Time: 13405
State: Master has sent all binlog to slave; waiting for binlog to be updated
Info: NULL

在备库上查看线程

mysql> show processlist\G;

*************************** 2. row ***************************
Id: 3
User: system user
Host:
db: NULL
Command: Connect
Time: 13613 （空闲时间）
State: Waiting for master to send event
Info: NULL
*************************** 3. row ***************************
Id: 4
User: system user
Host:
db: NULL
Command: Connect
Time: 13613 （空闲时间）
State: Slave has read all relay log; waiting for the slave I/O thread to update it
Info: NULL

行2 为I/O线程，行3为SQL线程；

以上的所有操作都是基于两台新创建的数据库服务器，也就是所两台数据库数据相同。

这不是典型的案列，多数情况下是有一个已经运行一段时间的数据库，然后用一个新安装的数据库和它进行同步，

此时新库还没有数据，

posted @ 2017-11-19 15:54 乌托邦眺望阅读(273) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

乌托邦眺望

——技术改变世界