Cobar分布式数据库的应用与实践

最新文章：看我如何快速学习.Net（高可用数据采集平台）、高并发数据采集的架构应用（Redis的应用）

问题点：

      随着项目的增长，数据和数据表也成倍的增长，普通的单点数据库已经无法满足日常的增长的需要。为了能够给开发者提供透明化的数据库应用，也为了有益于项目的扩展、维护和应用，迫切需要分布式数据库的解决方案。

解决方案：

   1.  Mysql Cluster :Mysql官方提供分布式集群的解决方案之一、具有较强的权威性。

   2. Cobar: Taobao提供的分布式数据库的解决方案，经过一定的实践证明、简单易用，并且可以自定义分割算法。

   3. 爱可生: MySQL分布式集群服务框架, 国内领先的开源数据库软件、数据平台整体解决方案和服务提供商。

   4. Percona XtraDB Cluster 5.6: Percona提供，基于Mysql的另一分支优化过的数据库集群的解决方案。

   5. 以及其它分布式数据库解决方案： 新浪、MySQL federated 引擎、Amoeba等。

   基于以上较多的分布式解决方案，还是选择了淘宝的Cobar、开源而且经过实践证明已经足够满足日常的需要。

 

配置和应用：

     1.下载 ：https://github.com/alibaba/cobar/wiki

    2. 安装：1）. Cobar是基于Java开发的分布式数据库应用，所以安装Cobar首先要安装JAVA JRE。

               2）.  解压，拷贝过去，运行startup.sh即可。

    3.配置：

           1）Server.xml 服务器配置

<user name="mysql">
    <property name="password">mysql</property>
    <property name="schemas">data_acquisition_server</property>
  </user>

连接用户名、密码配置，客户端连接登入验证。schemas 主要对应schema.xml的定义。

          2） Schema.xml 数据节点、数据表拆分配置

<!-- schema定义 -->
  <schema name="data_acquisition_server" dataNode="dnDataAcquisitionMaster">
    <table name="task" dataNode="dnDataAcquisitionChunk1,dnDataAcquisitionChunk2" rule="rule1" />
    <table name="task_upload" dataNode="dnDataAcquisitionChunk1,dnDataAcquisitionChunk2" rule="rule1" />
    <table name="task_source" dataNode="dnDataAcquisitionChunk1,dnDataAcquisitionChunk2" rule="rule1" />
  </schema>

  <!-- 数据节点定义，数据节点由数据源和其他一些参数组织而成。-->
  <dataNode name="dnDataAcquisitionMaster">
    <property name="dataSource">
      <dataSourceRef>dsServer[0]</dataSourceRef>
    </property>
  </dataNode>
  <dataNode name="dnDataAcquisitionChunk1">
    <property name="dataSource">
      <dataSourceRef>dsServer[1]</dataSourceRef>
    </property>
  </dataNode>
  <dataNode name="dnDataAcquisitionChunk2">
    <property name="dataSource">
      <dataSourceRef>dsServer[2]</dataSourceRef>
    </property>
  </dataNode>

  <!-- 数据源定义，数据源是一个具体的后端数据连接的表示。-->
  <dataSource name="dsServer" type="mysql">
    <property name="location">
      <location>127.0.0.1:3306/db_data_acquisition_master</location>
      <location>127.0.0.1:3306/db_data_acquisition_chunk1</location>
      <location>127.0.0.1:3306/db_data_acquisition_chunk2</location>
    </property>
    <property name="user">root</property>
    <property name="password">123456</property>
    <property name="sqlMode">STRICT_TRANS_TABLES</property>
  </dataSource>

         3） Rule.xml 数据拆分算法配置

<!-- 路由规则定义，定义什么表，什么字段，采用什么路由算法 -->
  <tableRule name="rule1">
    <rule>
      <columns>id</columns>
      <algorithm><![CDATA[ func1(${id}) ]]></algorithm>
    </rule>
  </tableRule>

  <!-- 路由函数定义 -->
  <function name="func1" class="com.alibaba.cobar.route.function.PartitionByLong">
    <property name="partitionCount">2</property>
    <property name="partitionLength">512</property>
  </function>

 

         4） 数据表创建

   数据库：db_data_acquisition_master、db_data_acquisition_chunk1、db_data_acquisition_chunk2

   数据表：1）db_data_acquisition_chunk1：task、task_source、task_upload

             2）db_data_acquisition_chunk2：task、task_source、task_upload

  当前的拆分规则、所有的表必需要有id但不能是自增长的。

 

   4 客户端连接

          可以使用任一Mysql连接工具进行连接，端口号为：8066

 

总结：

    现在的技术感觉越做越薄，多关注开源的解决方案，却成为必要的一项工作技能了。