MyCAT是一个开源的分布式数据库组件,在项目里,一般用这个组件实现针对数据库的分库分表功能,从而提升对数据表,尤其是大数据库表的访问性能。而且在实际项目里,MyCAT分库分表组件一般会和MySQL以及Redis组件整合使用,这样就能从“降低数据表里数据量规模”和“缓存数据”这两个维度提升对数据的访问性能。

 1 分库分表概述

     先通过一个实例来看下分库分表的概念,比如在某电商系统里,存在一张主键为id的流水表,如果该电商系统的业务量很大,这张流水表很有可能达到“亿”级规模,甚至更大。如果要从这张表里查询数据,哪怕用到索引等数据库优化的措施,但毕竟数据表的规模太大,这会成为性能上的瓶颈,所以可以按如下的思路拆分这张大的流水表。

    1 在不同的10个数据库,同时创建这10张流水表,这些表的表结构完全一致。
    2 在1号数据库里,只存放id%10等于1的流水记录,比如存放id是1、11和21等的流水记录,在2号数据库里只存放id%10等于2的流水记录,以此类推。
    也就是说,通过上述步骤,能把这张流水表拆分成10个字表,而MyCAT组件能把应用程序对流水表的请求分散到10张子表里,具体的效果下图所示。

 

     在实际项目里,子表的个数可以根据实际需求来设置。由于把大表的数据分散到若干张子表里,所以每次数据请求所面对的数据总量能有效降低,从中大家能感受到“分表”做法对提升数据库访问性能的帮助。

并且在实际项目里,会尽量把子表分散创建到不同的主机上,而不是单纯地在同一台主机同一个数据库上创建多个子表,也就是说,需要尽量把这些子表分散到不同的数据库上,具体效果如下图所示。

 

    尽量对子表进行“分库”还是出于提升性能的考虑。由于单台数据库处理请求时总会有性能瓶颈,比如每秒最多能处理500个请求。如果把这些子表放在同一台主机的同一个数据库上,那么对该表的请求速度依然无法突破单台数据库的性能瓶颈。但如果把这些子表分散到不同主机的不同数据库上,那么对该表的请求就相当于被有效分摊到不同的数据库上,这样就能成n倍地提升数据库的有效负载。

    在实际项目里,出于成本上的考虑,或许无法为每个子表分配一台主机,在这种情况下可以退而求其次,可以把不同的子表分散创建在同一主机的不同数据库上,总之尽量别在同一主机同一数据库上创建不同的子表。
也就是说,通过“分表”,能有效降低大表的数据规模,通过“分库”,能整合多个数据库,从而能提升处理请求的有效负载。而MyCAT分布式数据库组件,实现这种“分库分表”的效果,所以通常就把它叫做“MyCAT分库分表组件”。
事实上,MyCAT组件能解析SQL语句,并根据预先设置好的分库字段和分库规则,把该SQL发送到对应的子表上执行,再把执行好的结果再返回给应用程序。

2 用MyCAT组件实现分库分表 

    在上文里已经提到,用MyCAT可以实现分库分表的效果,该组件默认工作在8066端口,它和应用程序以及数据库的关系如下图所示。从中大家可以看到,Java应用程序不是直接和MySQL等数据库互连,而是和MyCAT组件连接。应用程序是把SQL请求发送到MyCAT,而MyCAT根据配置好的分库分表规则,把请求发送到对应的数据库上,得到请求再返回给应用程序。

    

     为了实现分库分表的效果,一般需要配置MyCAT组件里如下表所示的三个文件。

 

    这里将以一个MyCAT组件连接三个数据库为例,具体给出上述三个配置文件的编写范例。
    第一,server.xml配置文件的代码如下所示。

1    <?xml version="1.0" encoding="UTF-8"?>
2    <!DOCTYPE mycat:server SYSTEM "server.dtd">
3    <mycat:server xmlns:mycat="http://io.mycat/">
4        <system>
5            <property name="serverPort">8066</property>
6            <property name="managerPort">9066</property>
7        </system>
8        <user name="root">
9            <property name="password">123456</property> 
10            <property name="schemas">redisDemo</property>  
11        </user>
12    </mycat:server>

    在第5行和第6行里,分别配置了该MyCAT组件的工作端口和管理端口为8066和9066,在第8行到第11行的代码里,配置了连接该MyCAT组件的用户名是root,连接密码是123456,同时,该root登录后,可以访问MyCAT组件里的redisDemo数据库。
    请注意这里redisDemo是MyCAT组件的数据库,而不是MySQL里的,在实践过程中,这个数据库一般和MySQL里的同名。
    第二,schema.xml配置文件的代码如下所示。

1    <?xml version="1.0"?>
2    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
3    <mycat:schema xmlns:mycat="http://io.mycat/">
4        <schema name="redisDemo">
5            <table name="student" dataNode="dn1,dn2,dn3" rule="mod-long"/>
6        </schema>
7        <dataNode name="dn1" dataHost="host1" database="redisDemo" />
8        <dataNode name="dn2" dataHost="host2" database="redisDemo" />
9        <dataNode name="dn3" dataHost="host3" database="redisDemo" />

10        <dataHost name="host1" dbType="mysql" maxCon="10" minCon="3" balance="0" writeType="0" dbDriver="native">
11            <heartbeat>select     user()</heartbeat>
12            <writeHost host="hostM1" url="172.17.0.2:3306" user="root" password="123456"></writeHost>
13        </dataHost>
14        <dataHost name="host2" dbType="mysql" maxCon="10" minCon="3" balance="0" writeType="0" dbDriver="native"> 
15            <heartbeat>select     user()</heartbeat>
16             <writeHost host="hostM2" url="172.17.0.3:3306" user="root" password="123456"></writeHost> 
17         </dataHost>        
18        <dataHost name="host3" dbType="mysql" maxCon="10" minCon="3" balance="0" writeType="0" dbDriver="native"> 
19            <heartbeat>select     user()</heartbeat>
20             <writeHost host="hostM3" url="172.17.0.4:3306" user="root" password="123456"></writeHost> 
21         </dataHost>         
22    </mycat:schema>

    在第4行到第6行里,定义了redisDemo数据库里的student表,将按照mod-long规则,分布到dn1,dn2,dn3这三个数据库节点上。随后在第7行到第9行的代码里,给出了dn1,dn2,dn3这三个节点的定义,它们分别指向host1,host2和host3的redisDemo数据库。
    在第10行到第21行的代码里,给出了针对host1到host3的定义,它们的配置很相似,这里就以第10行到第13行的host1配置来说明。
    在第10里,首先通过dbType参数,定义了host1是mysql类型的数据库,随后通过maxCon和minCon参数指定了该host数据库的最大和最小连接数,通过balance和writeType参数,指定了向host1读写的请求,其实是发送到第12行定义的,url是172.17.0.2:3306的mysql数据库,同时在第12行里,还指定了连到172.17.0.2:3306的mysql数据库的用户名和密码。在第11行定义的heartbeat参数,则定义了MyCAT组件用select user()这句sql语句来判断host1这个数据库能否处于“连接”状态。也就是说,在第5行定义的dn1节点,最终是指向172.17.0.2:3306所在的MySQL数据库的stduent表。
    类似的在第14行到第21行针对host2和host3的定义里,分别也定义里这两个数据库的具体url地址。也就是说,定义在第4行的redisDemo数据库里的student表,根据dataNode的定义,最终会分散到172.17.0.2:3306、172.17.0.3:3306和172.17.0.4:3306这三个redisDemo数据库里的stduent表里。
    通过下图,大家能更清晰地看到通过配置文件里相关参数定义的分库关系。

     

    在本范例中,是用Docker容器在同一台主机里创建三个MySQL实例,所以172.17.0.2:3306、172.17.0.3:3306和172.17.0.4:3306是本机三个Docker容器的地址。如果在项目里,是在多台主机上部署MySQL服务器,那么对应的地址就应该修改成这些主机的IP地址。

    第三,rule.xml配置文件的代码如下所示。

1    <?xml version="1.0" encoding="UTF-8"?>
2    <!DOCTYPE mycat:rule SYSTEM "rule.dtd">
3    <mycat:rule xmlns:mycat="http://io.mycat/">
4        <tableRule name="mod-long">
5            <rule>
6                <columns>id</columns>
7                <algorithm>mod-long</algorithm>
8            </rule>
9        </tableRule>
10        
11        <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
12            <property name="count">3</property>
13        </function>
14    </mycat:rule>

    在第4行里定义了mod-long这个规则,该规则在schema.xml第5行里被用到,再结合第11行到第13行的代码,能看到利用该规则对student表分库时,将先对id进行模3处理,然后再根据取模后的结果,到host1到host3所在的数据表的student库里进行处理。这里取模的数值3,是需要和MySQL主机的数量相同。
    上述三个配置文件综合起来,给出了如下针对分库分表相关动作的定义。
    1. 应用程序如果如果要使用MyCAT,需要用root用户名外带123456密码连接到该MyCAT组件。
    2. 比如要插入id为1的stduent数据,根据在schema.xml里的定义,会先根据mod-long规则,对id进行模3处理,结果是1,所以会插入到host2所定义的172.17.0.3:3306数据库的student表里,如果要进行读取、删除和更新操作,也会先对id模3,然后再把该请求发送到对应的数据库里。
    这里仅给出了MyCAT分库的一种比较常用的规则(即取模),也只是把stduent表分散到3个物理数据表里,事实上通过编写配置,可以用其它算法,让MyCAT组件把数据表分散到更多的子表里。

3 Java、MySQL与MyCAT的整合范例

    这里将以“一个MyCAT组件连接三个MySQL数据库,对student表进行分库”的需求为例,结合上文给出的MyCAT三个配置文件,给出基于Docker容器设置MyCAT分库分表的详细步骤,并在此基础上,给出Java应用程序连接MyCAT以实现分库分表的代码范例。

    步骤一,先通过如下3个Docker命令,准备3个包含MySQL的Docker容器。

1    docker run -itd -p 3306:3306 --name mysqlHost1 -e MYSQL_ROOT_PASSWORD=123456 mysql:latest
2    docker run -itd -p 3316:3306 --name mysqlHost2 -e MYSQL_ROOT_PASSWORD=123456 mysql:latest
3    docker run -itd -p 3326:3306 --name mysqlHost3 -e MYSQL_ROOT_PASSWORD=123456 mysql:latest

    这里创建的三个MySQL的docker容器分别叫mysqlHost1、mysqlHost2和mysqlHost3,在容器里它们都工作在3306端口,但它们分别映射到主机的3306、3316和3326端口。并且,通过-e参数,分别指定了这三个数据库root用户名的密码是123456。
    创建完成后,再分别通过如下的命令,观察它们所在docker容器的ip地址。

1    docker inspect mysqlHost1
2    docker inspect mysqlHost2
3    docker inspect mysqlHost3

    观察到的IP地址如下表所示,大家在自己电脑上操作时,如果看到的是其它的IP地址,就需要更改下文步骤里的相关配置项。

   

    步骤二,通过docker exec -it mysqlHost1 /bin/bash命令进入到mysqlHost1容器,随后再用mysql -u root -p命令进入到mysql数据库,进入时需要输入的密码是123456,随后运行如下的命令创建redisDemo数据库和student表。

1    create database redisDemo;
2    use redisDemo;
3    create table student( id int not null primary key,name char(20),age int,score float);

    其中第1行语句是用于建库,第2行语句是进入redisDemo库,第3行语句是用于建表。
    完成后,通过docker exec -it mysqlHost2 /bin/bash和docker exec -it mysqlHost3 /bin/bash这两条命令进入到另外两个MySQL容器里,也通过mysql命令进入到数据库,也再通过上述语句进行创建数据库和数据表的动作。至      此完成了针对三个MySQL数据库的创建动作。
    步骤三,通过docker pull命令下载mycat组件的镜像,如果无法下载,则可以通过docker search mycat命令寻找可用的镜像并下载。
    步骤四,新建C:\work\mycat\conf目录,在其中放入在10.2.2部分里给出的针对MyCAT组件的server.xml、rule.xml和schema.xml这三个配置文件。
   其中在schema.xml里,针对数据库url的定义如下第3行、第7行和第11所示。请注意它们指向的是具体Docker容器里的MySQL的IP地址,它们的值需要和表10.3里给出的值一致。如果大家用docker inspect命令观察到三个Docker的地址有变,就需要对应第修改schema.xml里的url值。

1    <dataHost name="host1" dbType="mysql" maxCon="10" minCon="3" balance="0" writeType="0" dbDriver="native">
2            <heartbeat>select     user()</heartbeat>
3            <writeHost host="hostM1" url="172.17.0.2:3306" user="root" password="123456"></writeHost>
4        </dataHost>
5        <dataHost name="host2" dbType="mysql" maxCon="10" minCon="3" balance="0" writeType="0" dbDriver="native"> 
6            <heartbeat>select     user()</heartbeat>
7             <writeHost host="hostM2" url="172.17.0.3:3306" user="root" password="123456"></writeHost> 
8         </dataHost>        
9        <dataHost name="host3" dbType="mysql" maxCon="10" minCon="3" balance="0" writeType="0" dbDriver="native"> 
10            <heartbeat>select     user()</heartbeat>
11             <writeHost host="hostM3" url="172.17.0.4:3306" user="root" password="123456"></writeHost> 
12         </dataHost>    

    步骤五,再确保上述三个Docker里包含的My SQL都处于可用状态后,通过如下的Docker命令启动MyCAT对应的docker容器。

1    docker run --name mycat -p 8066:8066 -p 9066:9066 -v C:\work\mycat\conf\server.xml:/opt/mycat/conf/server.xml:ro -v C:\work\mycat\conf\schema.xml:/opt/mycat/conf/schema.xml:ro -v C:\work\mycat\conf\rule.xml:/opt/mycat/conf/rule.xml:ro -d mycat:latest

    请注意该docker命令的如下要点。

    1 通过-p参数,把该MyCAT组件的工作端口8066和管理端口9066映射到主机里的同名端口。
    2 通过三个-v参数,把容器外C:\work\mycat\conf\目录里的三个MyCAT配置文件映射到容器内的/opt/mycat/conf/目录里,这样启动时,就能读到这三个配置文件。这样做的前提是,事先已经确认过容器内的server.xml等三个配置文件存在于/opt/mycat/conf/目录里,如果有些mycat镜像里的这三个配置文件不存在于这个目录,则可以先用docker exec -it mycat /bin/bash命令进入该mycat容器,找到这三个配置文件对应的位置后,再改写上述启动mycat容器的docker run命令。
    3 通过mycat:latest参数指定该容器是基于mycat:latest镜像生成的。
    运行完上述docker run命令后,可以通过docker logs mycat命令观察包含在该容器内的MyCAT组件的启动日志。如果成功启动,就能看到日志里有如下图10.12所示的提示成功的信息。如果有错误,那么或者去检查三个MySQL数据库的连接状态,或者根据日志里给出的错误提示来排查问题。

     

    至此完成了MyCAT组件和三个MySQL数据库的相关配置,在如下的MyCATSimpleDemo范例中,将给出Java程序通过MyCAT组件向MySQL数据库插入数据的做法,从中大家能感受到分库分表的效果。 

1    import java.sql.*;
2    public class MyCATSimpleDemo {
3        public static void main(String[] args){
4            //定义连接对象和PreparedStatement对象
5            Connection myCATConn = null;
6            PreparedStatement ps = null;
7            //定义连接信息
8            String mySQLDriver = "com.mysql.jdbc.Driver";
9            String myCATUrl = "jdbc:mysql://localhost:8066/redisDemo";
10            String user = "root";
11            String pwd = "123456";
12            try{
13                Class.forName(mySQLDriver);
14                myCATConn = DriverManager.getConnection(myCATUrl, user, pwd);
15                ps = myCATConn.prepareStatement("insert into student (id,name,age,score) values (?,'test',18,100)");
16                ps.setString(1,"11");
17                ps.addBatch();
18                ps.setString(1,"12");
19                ps.addBatch();
20                ps.setString(1,"13");
21                ps.addBatch();
22                ps.executeBatch();
23            } catch (SQLException se) {
24                se.printStackTrace();
25            } catch (Exception e) {
26                e.printStackTrace();
27            }
28            finally{
29                //如果有必要,释放资源
30                if(ps != null){
31                    try {
32                        ps.close();
33                    } catch (SQLException e) {
34                        e.printStackTrace();
35                    }
36                }
37                if(myCATConn != null){
38                    try {
39                        myCATConn.close();
40                    } catch (SQLException e) {
41                        e.printStackTrace();
42                    }
43                }
44            }
45        }
46    }

    在本范例的第14行里,创建了指向MyCAT组件的连接对象myCATConn,请注意它是指向localhost的8066端口,用root和123456连接到redisDemo数据库,这和在server.xml里的配置相吻合。在随后的第15行里,是用myCATConn创建PreparedStatement类型的ps对象,并在第16行到第21行的代码里,通过addBatch方法批量组装了三条insert语句,请注意它们的id分别是11、12和13,最后在第22行的代码里,通过executeBatch语句执行了这三条insert语句。

    从中大家可以看到,通过MyCAT连接对象执行SQL语句的方式和直接用MySQL连接对象的方式基本相同,而且在获取MyCAT连接对象时,只需要对应地更改连接url即可。也就是说,MyCAT组件在实现分库分表时,对应用程序来说是透明的,它完全分离了“数据操作的业务动作”和“数据操作的底层实现”,所以如果要在一个系统里引入MyCAT分库分表组件,修改的点非常有限,对原有业务的影响并不大。
再来看下分库分表的效果,通过docker exec -it mysqlHost1 /bin/bash命令进入到mysqlHost1容器,随后再用mysql -u root -p命令进入到mysql数据库,用use redisDemo;命令进入到redisDemo数据库后,执行select * from student;命令,只能看到一条数据,如下图所示。

 

    同样地,在mysqlHost2和mysqlHost3所在的数据库里,也只能看到一条数据,这三个数据库里存储的student数据如下表所示。

    

    从中大家可以看到,根据id模3取值的不同,MyCAT组件分别把它们分散到了3个数据库里。由于本书的重点是Redis,所以就不再给出用MyCAT组件进行删除、更新和查询操作的相关范例,不过如果大家用上述范例中的myCATConn连接对象以及用它生成的ps对象,实现相关操作的效果也不难。

    这里student表中的数据规模很小,其实无法体现出分库分表的优势,但如果这张表的规模很大,比如达到百万级甚至更高,那么通过MyCat组件引入分库分表效果后,就相当于把针对这张大表的压力均摊到了若干张子表上,就能更好地应对高并发的场景。

 

    

 

posted on 2020-12-08 11:23  hsm_computer  阅读(640)  评论(0编辑  收藏  举报