MySQL表分区

1          什么是表分区

http://dev.mysql.com/doc/refman/5.5/en/partitioning.html

通俗地讲表分区是将一大表,根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。

如:某用户表的记录超过了600万条,那么就可以根据入库日期将表分区,也可以根据所在地将表分区。当然也可根据其他的条件分区。

2          为什么要对表进行分区

为了改善大型表以及具有各种访问模式的表的可伸缩性,可管理性和提高数据库效率。

分区的一些优点包括:

      1)、与单个磁盘或文件系统分区相比,可以存储更多的数据。

      2)、对于那些已经失去保存意义的数据,通常可以通过删除与那些数据有关的分区,很容易地删除那些数据。相反地,在某些情况下,添加新数据的过程又可以通过为那些新数据专门增加一个新的分区,来很方便地实现。通常和分区有关的其他优点包括下面列出的这些。MySQL分区中的这些功能目前还没有实现,但是在我们的优先级列表中,具有高的优先级;我们希望在5.1的生产版本中,能包括这些功能。

      3)、一些查询可以得到极大的优化,这主要是借助于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内,这样在查找时就不用查找其他剩余的分区。因为分区可以在创建了分区表后进行修改,所以在第一次配置分区方案时还不曾这么做时,可以重新组织数据,来提高那些常用查询的效率。

      4)、涉及到例如SUM()和COUNT()这样聚合函数的查询,可以很容易地进行并行处理。这种查询的一个简单例子如 “SELECT salesperson_id, COUNT (orders) as order_total FROM sales GROUP BY salesperson_id;”。通过“并行”,这意味着该查询可以在每个分区上同时进行,最终结果只需通过总计所有分区得到的结果。

      5)、通过跨多个磁盘来分散数据查询,来获得更大的查询吞吐量。

3          水平分区类型

· RANGE分区:基于属于一个给定连续区间的列值,把多行分配给分区。

· LIST分区:类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。

· HASH分区:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。

· KEY分区:类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL 服务器提供其自身的哈希函数。必须有一列或多列包含整数值。

3.1       RANGE分区

       基于属于一个给定连续区间的列值,把多行分配给分区。这些区间要连续且不能相互重叠,使用“VALUES LESS THAN”操作符来进行定义。以下是实例。

Sql代码

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT NOT NULL, 

    store_id INT NOT NULL 

partition BY RANGE (store_id) ( 

    partition p0 VALUES LESS THAN (6), 

    partition p1 VALUES LESS THAN (11), 

    partition p2 VALUES LESS THAN (16), 

    partition p3 VALUES LESS THAN (21) 

);

按照这种分区方案,在商店1到5工作的雇员相对应的所有行被保存在分区P0中,商店6到10的雇员保存在P1中,依次类推。注意,每个分区都是按顺序进行定义,从最低到最高。这是PARTITION BY RANGE 语法的要求;在这点上,它类似于C或Java中的“switch ... case”语句。

       对于包含数据(72, 'Michael', 'Widenius', '1998-06-25', NULL, 13)的一个新行,可以很容易地确定它将插入到p2分区中,但是如果增加了一个编号为第21的商店,将会发生什么呢?在这种方案下,由于没有规则把store_id大于20的商店包含在内,服务器将不知道把该行保存在何处,将会导致错误。 要避免这种错误,可以通过在CREATE TABLE语句中使用一个“catchall” VALUES LESS THAN子句,该子句提供给所有大于明确指定的最高值的值:

Sql代码 

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT NOT NULL, 

    store_id INT NOT NULL 

 

PARTITION BY RANGE (store_id) ( 

    PARTITION p0 VALUES LESS THAN (6), 

    PARTITION p1 VALUES LESS THAN (11), 

    PARTITION p2 VALUES LESS THAN (16), 

    PARTITION p3 VALUES LESS THAN MAXVALUE 

);

 MAXVALUE 表示最大的可能的整数值。现在,store_id 列值大于或等于16(定义了的最高值)的所有行都将保存在分区p3中。在将来的某个时候,当商店数已经增长到25, 30, 或更多 ,可以使用ALTER TABLE语句为商店21-25, 26-30,等等增加新的分区。

     在几乎一样的结构中,你还可以基于雇员的工作代码来分割表,也就是说,基于job_code 列值的连续区间。例如——假定2位数字的工作代码用来表示普通(店内的)工人,三个数字代码表示办公室和支持人员,四个数字代码表示管理层,你可以使用下面的语句创建该分区表:

Sql代码 

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT NOT NULL, 

    store_id INT NOT NULL 

PARTITION BY RANGE (job_code) ( 

    PARTITION p0 VALUES LESS THAN (100), 

    PARTITION p1 VALUES LESS THAN (1000), 

    PARTITION p2 VALUES LESS THAN (10000) 

);

在这个例子中, 店内工人相关的所有行将保存在分区p0中,办公室和支持人员相关的所有行保存在分区p1中,管理层相关的所有行保存在分区p2中。

       在VALUES LESS THAN 子句中使用一个表达式也是可能的。这里最值得注意的限制是MySQL 必须能够计算表达式的返回值作为LESS THAN (<)比较的一部分;因此,表达式的值不能为NULL 。由于这个原因,雇员表的hired, separated, job_code,和store_id列已经被定义为非空(NOT NULL)。

       除了可以根据商店编号分割表数据外,你还可以使用一个基于两个DATE (日期)中的一个的表达式来分割表数据。例如,假定你想基于每个雇员离开公司的年份来分割表,也就是说,YEAR(separated)的值。实现这种分区模式的CREATE TABLE 语句的一个例子如下所示:

Sql代码 

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT, 

    store_id INT 

)

PARTITION BY RANGE (YEAR(separated)) ( 

    PARTITION p0 VALUES LESS THAN (1991), 

    PARTITION p1 VALUES LESS THAN (1996), 

    PARTITION p2 VALUES LESS THAN (2001), 

    PARTITION p3 VALUES LESS THAN MAXVALUE 

);

 

在这个方案中,在1991年前雇佣的所有雇员的记录保存在分区p0中,1991年到1995年期间雇佣的所有雇员的记录保存在分区p1中, 1996年到2000年期间雇佣的所有雇员的记录保存在分区p2中,2000年后雇佣的所有工人的信息保存在p3中。

RANGE分区在如下场合特别有用:

      1)、 当需要删除一个分区上的“旧的”数据时,只删除分区即可。如果你使用上面最近的那个例子给出的分区方案,你只需简单地使用 “ALTER TABLE employees DROP PARTITION p0;”来删除所有在1991年前就已经停止工作的雇员相对应的所有行。对于有大量行的表,这比运行一个如“DELETE FROM employees WHERE YEAR (separated) <= 1990;”这样的一个DELETE查询要有效得多。

      2)、想要使用一个包含有日期或时间值,或包含有从一些其他级数开始增长的值的列。

      3)、经常运行直接依赖于用于分割表的列的查询。例如,当执行一个如“SELECT COUNT(*) FROM employees WHERE YEAR(separated) = 2000 GROUP BY store_id;”这样的查询时,MySQL可以很迅速地确定只有分区p2需要扫描,这是因为余下的分区不可能包含有符合该WHERE子句的任何记录。

注释:这种优化还没有在MySQL 5.1源程序中启用,但是,有关工作正在进行中。

3.2       LIST分区

      类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。

      LIST分区通过使用“PARTITION BY LIST(expr)”来实现,其中“expr” 是某列值或一个基于某个列值、并返回一个整数值的表达式,然后通过“VALUES IN (value_list)”的方式来定义每个分区,其中“value_list”是一个通过逗号分隔的整数列表。

注释:在MySQL 5.1中,当使用LIST分区时,有可能只能匹配整数列表。

Sql代码 

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT, 

    store_id INT 

);

 

假定有20个音像店,分布在4个有经销权的地区,如下表所示:

====================

地区      商店ID 号

------------------------------------

北区      3, 5, 6, 9, 17

东区      1, 2, 10, 11, 19, 20

西区      4, 12, 13, 14, 18

中心区   7, 8, 15, 16

====================

要按照属于同一个地区商店的行保存在同一个分区中的方式来分割表,可以使用下面的“CREATE TABLE”语句:

Sql代码  收藏代码

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT, 

    store_id INT 

)

 

PARTITION BY LIST(store_id) 

    PARTITION pNorth VALUES IN (3,5,6,9,17), 

    PARTITION pEast VALUES IN (1,2,10,11,19,20), 

    PARTITION pWest VALUES IN (4,12,13,14,18), 

    PARTITION pCentral VALUES IN (7,8,15,16) 

);

这使得在表中增加或删除指定地区的雇员记录变得容易起来。例如,假定西区的所有音像店都卖给了其他公司。那么与在西区音像店工作雇员相关的所有记录(行)可以使用查询“ALTER TABLE employees DROP PARTITION pWest;”来进行删除,它与具有同样作用的DELETE (删除)查询“DELETE query DELETE FROM employees WHERE store_id IN (4,12,13,14,18);”比起来,要有效得多。

【要点】:如果试图插入列值(或分区表达式的返回值)不在分区值列表中的一行时,那么“INSERT”查询将失败并报错。例如,假定LIST分区的采用上面的方案,下面的查询将失败:

Sql代码 

INSERT INTO employees VALUES(224, 'Linus', 'Torvalds', '2002-05-01', '2004-10-12', 42, 21);

这是因为“store_id”列值21不能在用于定义分区pNorth, pEast, pWest,或pCentral的值列表中找到。要重点注意的是,LIST分区没有类似如“VALUES LESS THAN MAXVALUE”这样的包含其他值在内的定义。将要匹配的任何值都必须在值列表中找到。

LIST分区除了能和RANGE分区结合起来生成一个复合的子分区,与HASH和KEY分区结合起来生成复合的子分区也是可能的。

3.3       HASH分区        

       基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。

      要使用HASH分区来分割一个表,要在CREATE TABLE 语句上添加一个“PARTITION BY HASH (expr)”子句,其中“expr”是一个返回一个整数的表达式。它可以仅仅是字段类型为MySQL 整型的一列的名字。此外,你很可能需要在后面再添加一个“PARTITIONS num”子句,其中num 是一个非负的整数,它表示表将要被分割成分区的数量。

Sql代码

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT, 

    store_id INT 

)

 

PARTITION BY HASH(store_id) 

PARTITIONS 4;

 

 如果没有包括一个PARTITIONS子句,那么分区的数量将默认为1。 例外: 对于NDB Cluster(簇)表,默认的分区数量将与簇数据节点的数量相同,

这种修正可能是考虑任何MAX_ROWS 设置,以便确保所有的行都能合适地插入到分区中。

3.4       LINER HASH

MySQL还支持线性哈希功能,它与常规哈希的区别在于,线性哈希功能使用的一个线性的2的幂(powers-of-two)运算法则,而常规 哈希使用的是求哈希函数值的模数。

线性哈希分区和常规哈希分区在语法上的唯一区别在于,在“PARTITION BY” 子句中添加“LINEAR”关键字。

Sql代码 

CREATE TABLE employees ( 

    id INT NOT NULL, 

    fname VARCHAR(30), 

    lname VARCHAR(30), 

    hired DATE NOT NULL DEFAULT '1970-01-01', 

    separated DATE NOT NULL DEFAULT '9999-12-31', 

    job_code INT, 

    store_id INT 

PARTITION BY LINEAR HASH(YEAR(hired)) 

PARTITIONS 4;

 

 

 

假设一个表达式expr, 当使用线性哈希功能时,记录将要保存到的分区是num 个分区中的分区N,其中N是根据下面的算法得到:

1.    找到下一个大于num.的、2的幂,我们把这个值称为V ,它可以通过下面的公式得到:

2.    V = POWER(2, CEILING(LOG(2, num)))

(例如,假定num是13。那么LOG(2,13)就是3.7004397181411。 CEILING(3.7004397181411)就是4,则V = POWER(2,4), 即等于16)。

3.    设置 N = F(column_list) & (V - 1).

4.    当 N >= num:

·         设置 V = CEIL(V / 2)

·         设置 N = N & (V - 1)

例如,假设表t1,使用线性哈希分区且有4个分区,是通过下面的语句创建的:

CREATE TABLE t1 (col1 INT, col2 CHAR(5), col3 DATE)

    PARTITION BY LINEAR HASH( YEAR(col3) )

    PARTITIONS 6;

现在假设要插入两行记录到表t1中,其中一条记录col3列值为'2003-04-14',另一条记录col3列值为'1998-10-19'。第一条记录将要保存到的分区确定如下:

V = POWER(2, CEILING(LOG(2,7))) = 8

N = YEAR('2003-04-14') & (8 - 1)

   = 2003 & 7

   = 3

(3 >= 6 为假(FALSE): 记录将被保存到#3号分区中)

第二条记录将要保存到的分区序号计算如下:

V = 8

N = YEAR('1998-10-19') & (8-1)

  = 1998 & 7

  = 6

(6 >= 4 为真(TRUE): 还需要附加的步骤)

N = 6 & CEILING(5 / 2)

  = 6 & 3

  = 2

 

(2 >= 4 为假(FALSE): 记录将被保存到#2分区中)

按照线性哈希分区的优点在于增加、删除、合并和拆分分区将变得更加快捷,有利于处理含有极其大量(1000吉)数据的表。它的缺点在于,与使用

常规HASH分区得到的数据分布相比,各个分区间数据的分布不大可能均衡。

3.5       KEY分区

类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL 服务器提供其自身的哈希函数。必须有一列或多列包含整数值。

Sql代码

CREATE TABLE tk ( 

    col1 INT NOT NULL, 

    col2 CHAR(5), 

    col3 DATE 

PARTITION BY LINEAR KEY (col1) 

PARTITIONS 3;

在KEY分区中使用关键字LINEAR和在HASH分区中使用具有同样的作用,分区的编号是通过2的幂(powers-of-two)算法得到,而不是通过模数算法。

4       垂直分区(按列分)

举个简单例子:一个包含了大text和BLOB列的表,这些text和BLOB列又不经常被访问,这时候就要把这些不经常使用的text和BLOB了划分到另一个分区,在保证它们数据相关性的同时还能提高访问速度。

5          表分区实例

5.1       创建表的时侯建立表分区

CREATE TABLE `表名` (  

    `EQUIPMENTID` char(17) NOT NULL,  

    `ATTRIBUTEID` char(4) NOT NULL,  

    `VALUE` varchar(20) NOT NULL,  

    `COLLECTTIME` datetime NOT NULL 

)    ENGINE=InnoDB  DEFAULT CHARSET=utf-8   

PARTITION BY RANGE (to_days(COLLECTTIME))   

(PARTITION pmin VALUES LESS THAN (to_days('2010-01-01')),  

PARTITION p201001 VALUES LESS THAN (to_days('2010-02-01')) ,   

PARTITION p201002 VALUES LESS THAN (to_days('2010-03-01')) ,  

PARTITION p201003 VALUES LESS THAN (to_days('2010-04-01')) ,   

PARTITION p201004 VALUES LESS THAN (to_days('2010-05-01')) ,  

PARTITION p201005 VALUES LESS THAN (to_days('2010-06-01')) ,   

PARTITION p201006 VALUES LESS THAN (to_days('2010-07-01')) ,  

PARTITION p201007 VALUES LESS THAN (to_days('2010-08-01')) ,   

PARTITION p201008 VALUES LESS THAN (to_days('2010-09-01')) ,  

PARTITION p201009 VALUES LESS THAN (to_days('2010-10-01')) ,   

PARTITION p201010 VALUES LESS THAN (to_days('2010-11-01')),  

PARTITION p201011 VALUES LESS THAN (to_days('2010-12-01')),  

PARTITION p201012 VALUES LESS THAN (to_days('2011-01-01')),  

PARTITION p201101 VALUES LESS THAN (to_days('2011-02-01')),  

PARTITION p201102 VALUES LESS THAN (to_days('2011-03-01')),  

PARTITION p201103 VALUES LESS THAN (to_days('2011-04-01')),  

PARTITION p201104 VALUES LESS THAN (to_days('2011-05-01')),  

PARTITION p201105 VALUES LESS THAN (to_days('2011-06-01')),  

PARTITION p201106 VALUES LESS THAN (to_days('2011-07-01')),  

PARTITION p201107 VALUES LESS THAN (to_days('2011-08-01')),  

PARTITION p201108 VALUES LESS THAN (to_days('2011-09-01')),  

PARTITION p201109 VALUES LESS THAN (to_days('2011-10-01')),  

PARTITION p201110 VALUES LESS THAN (to_days('2011-11-01')),  

PARTITION p201111 VALUES LESS THAN (to_days('2011-12-01')),  

PARTITION p201112 VALUES LESS THAN (to_days('2012-01-01')),  

PARTITION pmax VALUES LESS THAN MAXVALUE );  

 

5.2     在已经有的表上建立表分区

alter table 表名  

PARTITION BY RANGE (to_days(COLLECTTIME))   

(PARTITION pmin VALUES LESS THAN (to_days('2010-01-01')),  

PARTITION p201001 VALUES LESS THAN (to_days('2010-02-01')) ,   

PARTITION p201002 VALUES LESS THAN (to_days('2010-03-01')) ,  

PARTITION p201003 VALUES LESS THAN (to_days('2010-04-01')) ,   

PARTITION p201004 VALUES LESS THAN (to_days('2010-05-01')) ,  

PARTITION p201005 VALUES LESS THAN (to_days('2010-06-01')) ,   

PARTITION p201006 VALUES LESS THAN (to_days('2010-07-01')) ,  

PARTITION p201007 VALUES LESS THAN (to_days('2010-08-01')) ,   

PARTITION p201008 VALUES LESS THAN (to_days('2010-09-01')) ,  

PARTITION p201009 VALUES LESS THAN (to_days('2010-10-01')) ,   

PARTITION p201010 VALUES LESS THAN (to_days('2010-11-01')),  

PARTITION p201011 VALUES LESS THAN (to_days('2010-12-01')),  

PARTITION p201012 VALUES LESS THAN (to_days('2011-01-01')),  

PARTITION p201101 VALUES LESS THAN (to_days('2011-02-01')),  

PARTITION p201102 VALUES LESS THAN (to_days('2011-03-01')),  

PARTITION p201103 VALUES LESS THAN (to_days('2011-04-01')),  

PARTITION p201104 VALUES LESS THAN (to_days('2011-05-01')),  

PARTITION p201105 VALUES LESS THAN (to_days('2011-06-01')),  

PARTITION p201106 VALUES LESS THAN (to_days('2011-07-01')),  

PARTITION p201107 VALUES LESS THAN (to_days('2011-08-01')),  

PARTITION p201108 VALUES LESS THAN (to_days('2011-09-01')),  

PARTITION p201109 VALUES LESS THAN (to_days('2011-10-01')),  

PARTITION p201110 VALUES LESS THAN (to_days('2011-11-01')),  

PARTITION p201111 VALUES LESS THAN (to_days('2011-12-01')),  

PARTITION p201112 VALUES LESS THAN (to_days('2012-01-01')),  

PARTITION pmax VALUES LESS THAN MAXVALUE );  

如果表中已有数据,分区时会自动进行分区存储,不必担心数据丢失或者手动分类数据.

5.3     删除表中的指定分区

ALTER TABLE 表名 DROP PARTITION 分区名;

 

5.4     追加表分区

ALTER TABLE 表名 DROP PARTITION pmax;

先删后增加

ALTER TABLE 表名  

ADD PARTITION (  

PARTITION p201201 VALUES LESS THAN (to_days('2012-2-1')),  

PARTITION pmax VALUES LESS THAN MAXVALUE); 

 

5.5     查看标分区信息

SELECT   

        partition_name part,    

        partition_expression expr,    

        partition_description descr,    

        table_rows    

FROM   

        INFORMATION_SCHEMA.partitions    

WHERE   

        TABLE_SCHEMA = schema()   

        AND TABLE_NAME='表名';

 

5.6     查看查询语句涉及分区信息

explain partitions  

select … from 表名 where …;  

该操作只查看查询语句相关的分区信息,不会返回查询结果.

6       分区表的优点

分区是很有好处的,特别是一些特定的场景:

当表非常大,或者表中有大量的历史记录,而“热数据”却位于表的末尾。

分区与不使用分区相比,能够更好的维护数据。比如,你可以很快的通过删除分区来移除旧数据。你还可以优化、检查、修复个别分区。

分区的数据可以分布导不同的物理磁盘中,使得服务器可以高效的利用多个磁盘。

你可以通过分区来避免某些场景下会出现的瓶颈,例如InnoDB的单索引互斥量或者ext3文件系统中的inode锁。

如果有必要,你可以单独的备份和恢复指定的分区,这对于大数据来说是非常有用处的。

7       分区表的局限

分区表也有一些局限性,以下是几点需要特别主义的:

每张表最大分区数为1024。

在MySQL 5.1中,分区表达式必须是整型或者表达式返回整型值。在MySQL 5.5中,你可以通过具体某字段值进行分区。

所有的主键或者唯一索引必须被保函在分区表达式中。

不能使用任何外间约束。

8       一些结论

* 分区和未分区占用文件空间大致相同 (数据和索引文件)

* 如果查询语句中有未建立索引字段,分区时间远远优于未分区时间

* 如果查询语句中字段建立了索引,分区和未分区的差别缩小,分区略优于未分区。

* 对于大数据量,建议使用分区功能。

* 去除不必要的字段

* 根据手册, 增加myisam_max_sort_file_size 会增加分区性能

 

MYSQL-- 每半月一个分区,自动维护 (转)

http://blog.chinaunix.net/uid-24086995-id-127389.html

 

 

建表语句
 

drop table if exists terminal_parameter;
CREATE TABLE `terminal_parameter` (
  `terminal_parameter_id` int(11) NOT NULL AUTO_INCREMENT,
  `serial` int(11) DEFAULT NULL,
  `network_type` char(1) DEFAULT NULL,
  `mcc` int(8) DEFAULT NULL,
  `mnc` int(8) DEFAULT NULL,
  `lac` int(8) DEFAULT NULL,
  `cellid` int(8) DEFAULT NULL,
  `bsic_psc` int(8) DEFAULT NULL,
  `ta_ec_io` int(8) DEFAULT NULL,
  `bcch_rxlev_rscp` int(8) DEFAULT NULL,
  `arfcn_uarfcn` int(8) DEFAULT NULL,
  `rxq` int(8) DEFAULT NULL,
  `c1` int(8) DEFAULT NULL,
  `c2` int(8) DEFAULT NULL,
  `signal_intensity` int(8) DEFAULT NULL,
  `error_rate` int(8) DEFAULT NULL,
  `alarm_type` varchar(16) DEFAULT NULL,
  `txpower` int(8) DEFAULT NULL,
  `small_running_number` int(8) DEFAULT NULL,
  `createtime` datetime NOT NULL,
  `userid` int(8) NOT NULL,
  `terminal_id` int(8) DEFAULT NULL,
  `state` char(1) DEFAULT '0',
  `order_definition_id` int(8) DEFAULT NULL,
  `order_code` varchar(20) DEFAULT NULL,
  `charg_voltage` float(8,2) DEFAULT NULL,
  `battery_voltage` float(8,2) DEFAULT NULL,
  `temprad` float(8,2) DEFAULT NULL,
  `run_state` int(8) DEFAULT NULL,
  `switching_value1` int(8) DEFAULT NULL,
  `switching_value2` int(8) DEFAULT NULL,
  `bcch_freq` int(8) DEFAULT NULL,
  `rxlev` int(8) DEFAULT NULL,
  `rxlev_full` int(8) DEFAULT NULL,
  `rxlev_sub` int(8) DEFAULT NULL,
  `rxqual` int(8) DEFAULT NULL,
  `rxqual_full` int(8) DEFAULT NULL,
  `rxqual_sub` int(8) DEFAULT NULL,
  `idle_ts` int(8) DEFAULT NULL,
  `timing_advance` int(8) DEFAULT NULL,
  `tch_efr_out` int(8) DEFAULT NULL,
  `tch_efr_in` int(8) DEFAULT NULL,
  `dtx` int(8) DEFAULT NULL,
  `major_cycle_frequency` int(8) DEFAULT NULL,
  PRIMARY KEY (`terminal_parameter_id`,`createtime`),
  KEY `idx_createtime` (`createtime`),
  KEY `idx_terminal_id` (`terminal_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE(TO_DAYS (createtime))
(
PARTITION p20101115 VALUES LESS THAN (TO_DAYS('2010-11-15')),
PARTITION p20101130 VALUES LESS THAN (TO_DAYS('2010-11-30')),
PARTITION p20101215 VALUES LESS THAN (TO_DAYS('2010-12-15')),
PARTITION p20101231 VALUES LESS THAN (TO_DAYS('2010-12-31')),
PARTITION p20110115 VALUES LESS THAN (TO_DAYS('2011-01-15')),
PARTITION p20110131 VALUES LESS THAN (TO_DAYS('2011-01-31')),
PARTITION p20110215 VALUES LESS THAN (TO_DAYS('2011-02-15')),
PARTITION p20110228 VALUES LESS THAN (TO_DAYS('2011-02-28')),
PARTITION p20110315 VALUES LESS THAN (TO_DAYS('2011-03-15')),
PARTITION p20110331 VALUES LESS THAN (TO_DAYS('2011-03-31')),
PARTITION p20110415 VALUES LESS THAN (TO_DAYS('2011-04-15')),
PARTITION p20110430 VALUES LESS THAN (TO_DAYS('2011-04-30'))
); 


存储过程代码:

 

* 每隔15天执行一次
/* 程序功能:循环使用分区,每半个月一个分区,保留6个月的数据
 时间:2010-11-09 */

 drop procedure if exists Set_Partition;
 create procedure Set_Partition()
 begin
/* 事务回滚,其实放这里没什么作用,ALTER TABLE是隐式提交,回滚不了的。*/
    declare exit handler for sqlexception rollback;
    start TRANSACTION;
 
/* 到系统表查出这个表的最大分区,得到最大分区的日期。在创建分区的时候,名称就以日期格式存放,方便后面维护 */
    select REPLACE(partition_name,'p','') into @P12_Name from INFORMATION_SCHEMA.PARTITIONS where TABLE_SCHEMA='mydb_1' and table_name='terminal_parameter' order by partition_ordinal_position DESC limit 1;

/* 判断最大分区的时间段,如果是前半个月的,那么根据情况需要加13,14,15,16天
   如果是后半个月的,那么直接加15天。 +0 是为了把日期都格式化成YYYYMMDD这样的格式*/

    IF (DAY(@P12_Name)<=15) THEN
       CASE day(LAST_DAY(@P12_name))
          WHEN 31 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 16 DAY))+0 ;
          WHEN 30 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 15 DAY))+0 ;
          WHEN 29 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 14 DAY))+0 ; 
          WHEN 28 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 13 DAY))+0 ; 
       END CASE;
    ELSE
       set @Max_date= date(DATE_ADD(@P12_Name+0, INTERVAL 15 DAY))+0;
    END IF;

/* 修改表,在最大分区的后面增加一个分区,时间范围加半个月 */
    SET @s1=concat('ALTER TABLE terminal_parameter ADD PARTITION (PARTITION p',@Max_date,' VALUES LESS THAN (TO_DAYS (''',date(@Max_date),''')))');
    PREPARE stmt2 FROM @s1;
    EXECUTE stmt2;
    DEALLOCATE PREPARE stmt2;

/* 取出最小的分区的名称,并删除掉 。
    注意:删除分区会同时删除分区内的数据,慎重 */

    select partition_name into @P0_Name from INFORMATION_SCHEMA.PARTITIONS where TABLE_SCHEMA='mydb_1' and table_name='terminal_parameter' order by partition_ordinal_position limit 1;
    SET @s=concat('ALTER TABLE terminal_parameter DROP PARTITION ',@P0_Name);
    PREPARE stmt1 FROM @s; 
    EXECUTE stmt1; 
    DEALLOCATE PREPARE stmt1; 

/* 提交 */
    COMMIT ;
 end;
 


计划任务代码:

 

CREATE EVENT e_Set_Partition
          ON SCHEDULE
          EVERY 15 day STARTS '2011-04-30 23:59:59' 
          DO
          call Set_Partition();

 

 

 

alter table titleurlmd5 PARTITION by RANGE(TO_DAYS(crawltime))(
PARTITION pmin VALUES LESS THAN (TO_DAYS('2014-01-15')),
PARTITION p20140116 VALUES LESS THAN (TO_DAYS('2014-01-16')),
PARTITION p20140117 VALUES LESS THAN (TO_DAYS('2014-01-17')),
PARTITION p20140118 VALUES LESS THAN (TO_DAYS('2014-01-18')),
PARTITION p20140119 VALUES LESS THAN (TO_DAYS('2014-01-19')),
PARTITION pmax VALUES LESS THAN MAXVALUE 
)
/*
  删除了15号的分区了
*/
alter table titleurlmd5 drop PARTITION p20140116;
/*   查看分区的信息 */
SELECT    
        partition_name part,     
        partition_expression expr,     
        partition_description descr,     
        table_rows     
FROM    
        INFORMATION_SCHEMA.partitions     
WHERE    
        TABLE_SCHEMA = schema()    
        AND TABLE_NAME='titleurlmd5';



/*   每隔15天执行一次 程序功能:循环使用分区,每半个月一个分区,保留6个月的数据
 时间:2010-11-09 */
 drop procedure if exists Set_Partition;
 create procedure Set_Partition()
 begin
/* 事务回滚,其实放这里没什么作用,ALTER TABLE是隐式提交,回滚不了的。*/
    declare exit handler for sqlexception rollback;
    start TRANSACTION;
 
/* 到系统表查出这个表的最大分区,得到最大分区的日期。在创建分区的时候,名称就以日期格式存放,方便后面维护 */
    select REPLACE(partition_name,'p','') into @P12_Name from INFORMATION_SCHEMA.PARTITIONS where TABLE_SCHEMA='mydb_1' and table_name='titleurlmd5' order by partition_ordinal_position DESC limit 1;

/* 判断最大分区的时间段,如果是前半个月的,那么根据情况需要加13,14,15,16天
   如果是后半个月的,那么直接加15天。 +0 是为了把日期都格式化成YYYYMMDD这样的格式*/
    IF (DAY(@P12_Name)<=15) THEN
       CASE day(LAST_DAY(@P12_name))
          WHEN 31 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 16 DAY))+0 ;
          WHEN 30 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 15 DAY))+0 ;
          WHEN 29 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 14 DAY))+0 ; 
          WHEN 28 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 13 DAY))+0 ; 
       END CASE;
    ELSE
       set @Max_date= date(DATE_ADD(@P12_Name+0, INTERVAL 15 DAY))+0;
    END IF;

/* 修改表,在最大分区的后面增加一个分区,时间范围加半个月 */
    SET @s1=concat('ALTER TABLE titleurlmd5 ADD PARTITION (PARTITION p',@Max_date,' VALUES LESS THAN (TO_DAYS (''',date(@Max_date),''')))');
    PREPARE stmt2 FROM @s1;
    EXECUTE stmt2;
    DEALLOCATE PREPARE stmt2;

/* 取出最小的分区的名称,并删除掉 。
    注意:删除分区会同时删除分区内的数据,慎重 
    select partition_name into @P0_Name from INFORMATION_SCHEMA.PARTITIONS where TABLE_SCHEMA='mydb_1' and table_name='titleurlmd5' order by partition_ordinal_position limit 1;
    SET @s=concat('ALTER TABLE titleurlmd5 DROP PARTITION ',@P0_Name);
    PREPARE stmt1 FROM @s; 
    EXECUTE stmt1; 
    DEALLOCATE PREPARE stmt1;  */

/* 提交 */
    COMMIT ;
 end;
 


CREATE EVENT e_Set_Partition
          ON SCHEDULE
          EVERY 1 day STARTS '2011-01-16 23:59:59' 
          DO
          call Set_Partition();

 

 

posted @ 2014-01-14 18:50  杨桃  阅读(532)  评论(0编辑  收藏  举报