MySQL分库分表之MyCat实现

MySQL分库分表之MyCat实现

1.什么是MyCat

MyCat是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。

MyCat发展到目前的版本，已经不是一个单纯的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库，也支持MongoDB这种新型NoSQL方式的存储，未来还会支持更多类型的存储。而在最终用户看来，无论是那种存储方式，在MyCat里，都是一个传统的数据库表，支持标准的SQL语句进行数据的操作，这样一来，对前端业务系统来说，可以大幅降低开发难度，提升开发速度

2.MyCat关键特性

3.MyCat架构

MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器

并建立了完整的Schema（数据库）、Table （数据表）、User(用户)的逻辑模型，并将这套逻辑模型映射到后端的存储节点DataNode（MySQL Instance）上的真实物理库中

这样一来，所有能使用Mysql的客户端以及编程语言
都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议

如图所示：MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器，并建立了完整的Schema（数据库）、Table （数据表）、User(用户)的逻辑模型，并将这套逻辑模型映射到后端的存储节点DataNode（MySQL Instance）上的真实物理库中，这样一来，所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议。

解决问题：

1、性能问题
2、数据库连接过多
3、E-R分片难处理
4、可用性问题
5、成本和伸缩性问题

支持数据库：

分片策略：

水平分片、垂直分片

水平分片
一个表，根据某种规则，将数据存放到不同的数据库中
一个表格的数据，分割到多个节点上，按照行分隔

垂直分片
一个数据库，根据业务将多个数据表，分配到不同的数据库中
一个数据库中多个表格A，B，C
A存储到节点1上，B存储到节点2上，C存储到节点3上

分片规则：

通过定义表的分片规则来实现分片

每个表格可以捆绑一个分片规则

每个分片规则制定一个分片字段并绑定一个函数，来实现动态分片算法

1.Schema

逻辑库，与MySQL中的Datebase（数据库）对应

一个逻辑库中定义了所包括的Table

2.Table

表，即物理数据库中存储的某一张表，与传统数据库不同

这里的表格,需要声明其所存储的逻辑数据库节点DataNode

在此，可以指定表的分片规则

3.DataNode

MyCat的逻辑数据节点

是存放table的具体物理节点，也称之为分片节点

通过DataSource来关联到后端某个具体数据库上

DataSource

定义某个物理库的访问地址，用于捆绑到DataNode上

4.MyCat下载及安装

1.下载

网址：http://dl.mycat.io/

2.安装

解压：tar zxf Mycat-server-1.6.5-release-20180122220033-linux.tar.gz

进入mycat目录：cd mycat/

因为MyCat是基于java1.7版本来开发的，所以我们要安装java运行环境。

查看我的linux是多少位的：getconf LONG_BIT

是64为的，所以我下载的是64为的jdk

官网下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

查看一下当前环境是否已经安装了java环境：java -version

command not found证明没有安装

如果已经安装，会是下面的情况，我们需要先卸载

卸载java环境。

安装java环境.

解压：tar zxf jdk-8u191-linux-x64.tar.gz

进入解压目录：cd jdk1.8.0_191/

建立一个java目录：mkdir/usr/local/java

将解压文件转移到java目录下：mv /jdk1.8.0_191//usr/local/java/

这样java环境就装好了

添加一个MyCat账户（为了系统安全和相应的权限隔离）：adduser MyCat

转移解压好的MyCat到/usr/local目录下：mv /usr/local/src/mycat/ /usr/local/

我们可以看到现在MyCat目录还是属于root用户，我们将其更改为MyCat用户。

chown mycat:mycat -R mycat/

实际上到这里我们就完成了MyCat的安装了。

要用MyCat命令来进行操作，我们需要修改一下配置文件。

vi ./mycat/conf/wrapper.conf

增加一些系统环境变量

vi /etc/profile

增加一下几行配置：

export PATH=$PATH:/usr/local/mycat/bin:/usr/local/java/jdk1.8.0_191/bin
export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export MyCAT_HOME=/usr/local/mycat/

source 一下是我们刚才的配置生效：source /etc/profile

执行以下java -version看一下时候可以找到java版本，如果找到则代表我们配置成功了。

启动mycat：mycat start

使用ps -ef看一下mycat是否已经启动。

出现以上效果，证明我们的mycat已经启动成功。

我们也可以，通过mycat的logs来查看，是否启动成功。

more ./mycat/logs/wrapper.log

我们可以看到，启动已经成功了。

至此，我们的mycat安装就全部安装完成了

MyCat分片

1.需求

把商品表分片存储到三个数据节点上。

2.安装环境

mysql节点1环境

操作系统版本 : centos6.5

数据库版本 : mysql-5.6

mycat版本：1.4 release

数据库名 : db1、db3

ip:192.168.25.134

mysql节点2环境

操作系统版本 : centos6.5

数据库版本 : mysql-5.6

mycat版本：1.4 release

数据库名 : db2

ip:192.168.25.166

MyCat安装到节点1上（需要安装jdk）

配置schema.xml

1.Schema.xml介绍

Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。

schema 标签用于定义MyCat实例中的逻辑库

Table 标签定义了MyCat中的逻辑表

dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。

dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

注意：若是LINUX版本的MYSQL，则需要设置为Mysql大小写不敏感，否则可能会发生表找不到的问题。

在MySQL的配置文件中my.ini [mysqld] 中增加一行

lower_case_table_names = 1

2.Schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <!-- auto sharding by id (long) -->
        <table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
        <table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" />
    </schema>
    <dataNode name="dn1" dataHost="localhost1" database="db1" />
    <dataNode name="dn2" dataHost="localhost2" database="db2" />
    <dataNode name="dn3" dataHost="localhost1" database="db3" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <writeHost host="hostM1" url="192.168.25.134:3306" user="root"
            password="root">
            <!-- can have multi read hosts -->

        </writeHost>
    </dataHost>
    <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <writeHost host="hostM1" url="192.168.25.166:3306" user="root"
            password="root">
            <!-- can have multi read hosts -->
        </writeHost>
    </dataHost>
</mycat:schema>

配置server.xml

1.Server.xml介绍

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。

2.Server.xml配置

<user name="test">
    <property name="password">test</property>
    <property name="schemas">TESTDB</property>
    <property name="readOnly">true</property>
</user>

配置rule.xml

rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法，或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule

和function。

此配置文件可以不用修改，使用默认即可。

测试分片

1.创建表

配置完毕后，重新启动mycat。使用mysql客户端连接mycat，创建表。

-- ----------------------------
-- Table structure for tb_item
-- ----------------------------
DROP TABLE IF EXISTS `tb_item`;
CREATE TABLE `tb_item` (
  `id` bigint(20) NOT NULL COMMENT '商品id，同时也是商品编号',
  `title` varchar(100) NOT NULL COMMENT '商品标题',
  `sell_point` varchar(500) DEFAULT NULL COMMENT '商品卖点',
  `price` bigint(20) NOT NULL COMMENT '商品价格，单位为：分',
  `num` int(10) NOT NULL COMMENT '库存数量',
  `barcode` varchar(30) DEFAULT NULL COMMENT '商品条形码',
  `image` varchar(500) DEFAULT NULL COMMENT '商品图片',
  `cid` bigint(10) NOT NULL COMMENT '所属类目，叶子类目',
  `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品状态，1-正常，2-下架，3-删除',
  `created` datetime NOT NULL COMMENT '创建时间',
  `updated` datetime NOT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`),
  KEY `cid` (`cid`),
  KEY `status` (`status`),
  KEY `updated` (`updated`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';

-- ----------------------------
-- Table structure for tb_user
-- ----------------------------
DROP TABLE IF EXISTS `tb_user`;
CREATE TABLE `tb_user` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL COMMENT '用户名',
  `password` varchar(32) NOT NULL COMMENT '密码，加密存储',
  `phone` varchar(20) DEFAULT NULL COMMENT '注册手机号',
  `email` varchar(50) DEFAULT NULL COMMENT '注册邮箱',
  `created` datetime NOT NULL,
  `updated` datetime NOT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `username` (`username`) USING BTREE,
  UNIQUE KEY `phone` (`phone`) USING BTREE,
  UNIQUE KEY `email` (`email`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用户表';

2.插入数据

将此文件中的数据插入到数据库：

3.分片测试

由于配置的分片规则为“auto-sharding-long”，所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片

经测试id范围为：

Datanode1：1~5000000

Datanode2：5000000~10000000

Datanode3：10000001~15000000

当15000000以上的id插入时报错：

[Err] 1064 - can't find any valid datanode :TB_ITEM -> ID -> 15000001

此时需要添加节点了。

MyCat读写分离

数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置

Mycat读写分离和自动切换机制，需要mysql的主从复制机制配合。

Mycat配置

Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制，让读更加安全可靠，配置如下：

<dataNode name="dn1" dataHost="localhost1" database="db1" />
    <dataNode name="dn2" dataHost="localhost1" database="db2" />
    <dataNode name="dn3" dataHost="localhost1" database="db3" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
        writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">
        <heartbeat>show slave status</heartbeat>
        <writeHost host="hostM" url="192.168.25.134:3306" user="root"
            password="root">
            <readHost host="hostS" url="192.168.25.166:3306" user="root"
            password="root" />
        </writeHost>
    </dataHost>

(1) 设置 balance="1"与writeType="0"

Balance参数设置：

1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。

2. balance=“1”，所有读操作都随机的发送到readHost。

3. balance=“2”，所有读操作都随机的在writeHost、readhost上分发

WriteType参数设置：

1. writeType=“0”, 所有写操作都发送到可用的writeHost上。

2. writeType=“1”，所有写操作都随机的发送到readHost。

3. writeType=“2”，所有写操作都随机的在writeHost、readhost分上发。

“readHost是从属于writeHost的，即意味着它从那个writeHost获取同步数据，因此，当它所属的writeHost宕机了，则它也不会再参与到读写分离中来，即“不工作了”，这是因为此时，它的数据已经“不可靠”了。基于这个考虑，目前mycat 1.3和1.4版本中，若想支持MySQL一主一从的标准配置，并且在主节点宕机的情况下，从节点还能读取数据，则需要在Mycat里配置为两个writeHost并设置banlance=1。”

(2) 设置 switchType="2" 与slaveThreshold="100"

switchType 目前有三种选择：

-1：表示不自动切换

1 ：默认值，自动切换

2 ：基于MySQL主从同步的状态决定是否切换

“Mycat心跳检查语句配置为 show slave status ，dataHost 上定义两个新属性： switchType="2" 与slaveThreshold="100"，此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。“

posted @ 2020-01-02 20:27 野生杀马特·cheng 阅读(659) 评论(0) 收藏举报

刷新页面返回顶部