分库分表之sharding-jdbc

一、使用技术描述

• spring-boot

  <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.6.RELEASE</version>
  </parent>

  <properties>
        <java.version>1.8</java.version>
        <shard.jdbc.version>4.0.0-RC3</shard.jdbc.version>
   　　  <mybatis.version>2.1.3</mybatis.version>
   　　  <druid.version>1.2.1</druid.version>
  </properties>

• mybatis

  <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>${mybatis.version}</version>
  </dependency>

• druid

  <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid</artifactId>
        <version>${druid.version}</version>
  </dependency>

• sharding-jdbc

  <dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        <version>${shard.jdbc.version}</version>
  </dependency>

二、数据库表建设

使用sharding-jdbc来分库分表，我们首先创建两个数据库shard_jdbc_1和shard_jdbc_2，两个库中的表结构完全相同，接下来我们在每个数据库中都创建如下表：

• order表：每个库中有3张order表，分别是order_1、order_2、order_3，我们以order_1为例

  CREATE TABLE `order_1` (
    `id` varchar(60) NOT NULL,
    `product_id` bigint(20) NOT NULL,
    `user_id` bigint(20) NOT NULL,
    `num` int(2) NOT NULL,
    `create_time` datetime NOT NULL,
    PRIMARY KEY (`id`)
  ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

• product表：每个库中有5张product表，分别是product_1、product_2、product_3、product_4、product_5，我们以product_1为例

  CREATE TABLE `product_1` (
    `id` bigint(20) NOT NULL,
    `name` varchar(60) NOT NULL,
    `version` varchar(60) NOT NULL,
    `create_time` datetime NOT NULL,
    `price` decimal(10,2) NOT NULL,
    `deleted` enum('0','1') NOT NULL,
    PRIMARY KEY (`id`),
    UNIQUE KEY `idx_version` (`version`)
  ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

• user表：每个库中只有1张user表

  CREATE TABLE `user` (
    `id` bigint(20) NOT NULL AUTO_INCREMENT,
    `name` varchar(60) NOT NULL,
    `age` int(3) NOT NULL,
    `sex` enum('1','2') NOT NULL,
    `create_time` datetime NOT NULL,
    PRIMARY KEY (`id`)
  ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4

三、properties配置文件

# 数据源名称，多数据源以逗号分隔
spring.shardingsphere.datasource.names=shard1, shard2

# shard1数据源配置
spring.shardingsphere.datasource.shard1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.shard1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.shard1.url=jdbc:mysql://127.0.0.1:3306/shard_jdbc_1?characterEncoding=utf-8
spring.shardingsphere.datasource.shard1.username=root
spring.shardingsphere.datasource.shard1.password=root

# shard2数据源配置
spring.shardingsphere.datasource.shard2.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.shard2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.shard2.url=jdbc:mysql://127.0.0.1:3306/shard_jdbc_2?characterEncoding=utf-8
spring.shardingsphere.datasource.shard2.username=root
spring.shardingsphere.datasource.shard2.password=root

# ================== order表配置-start ==================
# order表节点配置
spring.shardingsphere.sharding.tables.order.actual-data-nodes=shard$->{1..2}.order_$->{1..3}
spring.shardingsphere.sharding.tables.order.database-strategy.inline.sharding-column=product_id
# 精确分片算法类名称，用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.order.database-strategy.inline.algorithm-expression=shard$->{product_id % 2 + 1}
# 范围分片算法类名称，用于BETWEEN，可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
# spring.shardingsphere.sharding.tables.t_order.database-strategy.standard.range-algorithm-class-name=
spring.shardingsphere.sharding.tables.order.table-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.order.table-strategy.inline.algorithm-expression=order_$->{user_id % 3 + 1}
# 逻辑表名称
spring.shardingsphere.sharding.tables.order.logic-table=order
# 主键生成器,key-generator.column=id表示t_order_$->{1..3}表主键名称;key-generator.type=UUID表示主键生成策略为UUID,也可以使用SNOWFLAKE
spring.shardingsphere.sharding.tables.order.key-generator.column=id
# order表中的id字段时varchar类型，所以我们可以使用UUID
spring.shardingsphere.sharding.tables.order.key-generator.type=UUID
# ================== order表配置-end ==================

================== product表配置-start ==================
# 节点信息
spring.shardingsphere.sharding.tables.product.actual-data-nodes=shard$->{1..2}.product_$->{1..5}
# 分库策略
spring.shardingsphere.sharding.tables.product.database-strategy.standard.sharding-column=name
spring.shardingsphere.sharding.tables.product.database-strategy.standard.precise-algorithm-class-name=com.five.monkey.shard.algorithm.ProductDataBaseAlgorithm
# 分表策略
spring.shardingsphere.sharding.tables.product.table-strategy.standard.sharding-column=version
spring.shardingsphere.sharding.tables.product.table-strategy.standard.precise-algorithm-class-name=com.five.monkey.shard.algorithm.ProductTableAlgorithm
# 基础表名
spring.shardingsphere.sharding.tables.product.logic-table=product
# 主键生成策略
spring.shardingsphere.sharding.tables.product.key-generator.column=id
spring.shardingsphere.sharding.tables.product.key-generator.type=SNOWFLAKE
================== product表配置-end ==================

# 未配置分片规则的表将通过默认数据源定位
spring.shardingsphere.sharding.default-data-source-name=shard1
# 是否开启SQL显示，默认值: false
spring.shardingsphere.props.sql.show=true

mybatis.mapper-locations=classpath:/mapper/**/*.xml

1、配置文件order表说明

21行表示order表分库是根据product_id字段分片的

23行表示order表的数据分库算法是根据product_id字段对2取余加1来计算数据源后缀的

26行表示order表分表是根据user_id字段分片的

27行表示order表的数据分表算法是根据user_id字段对3取余加1来计算order表后缀的

31行表示order表的主键字段是id字段

33行表示order表主键id字段值的生成策略是使用UUID

2、配置文件product表说明

40行分库字段是name字段

41行分库算法是自定义的com.five.monkey.shard.algorithm包下的ProductDataBaseAlgorithm类，该类实现了PreciseShardingAlgorithm接口

43行表示分表键是version字段

44行分表算法是自定义的com.five.monkey.shard.algorithm包下的ProductTableAlgorithm类，该类实现了PreciseShardingAlgorithm接口

48行表示product表的主键字段是id字段

49行表示product表主键id字段值的生成策略是使用雪花id

3、配置文件user表说明

因为user表没有配置分片规则，所以会根据53行的配置使用shard1数据源中的user表

4、product表分库分表策略类

• 分库策略

  public class ProductDataBaseAlgorithm implements PreciseShardingAlgorithm<String> {
      @Override
      public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<String> shardingValue) {
          String name = shardingValue.getValue();
          int index = Math.abs(name.hashCode()) % 2 + 1;
          return "shard" + index;
      }
  }

• 分表策略

  public class ProductTableAlgorithm implements PreciseShardingAlgorithm<String> {
      @Override
      public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<String> shardingValue) {
          String version = shardingValue.getValue();
          int index = Math.abs(version.hashCode()) % 5 + 1;
          return "product_" + index;
      }
  }

 github:https://github.com/pingyuangulang/spring-boot-demo/tree/master/spring-boot-shard-jdbc