--oracle-row piece in a database block
1.表数据的存储及格式
一个Oracle数据块(Data block)通常存储着一条记录的一个片段(Row piece),假如一条记录以多个记录片段的方式保存,那么这些记录片段之间会被互相"链接"。
当一个表拥有的列数目超过255个,那么每条记录的第255个字段之后的数据,会被存放到另外的记录片段中,以Rowid相连。这被称为(Intra-block chaining)。
因为同一条记录,不管被分成多少个row piece存储,每一个piece的rowid都是相同的。通过这一点就可以把数据“链接”起来。
每一个记录片段,不管是链接的还是非链接的,都包含了一个记录头(Row header)
===============
2. Rowid
rowid会一直伴随Oracle记录,直到记录被删除。假如记录被export,然后import那么rowid也会改变。
3. 表压缩
Duplicate values in all the rows and columns in a block are stored once at the beginning of the block, in what is called a symbol table for that block. All occurrences of such values are replaced with a short reference to the symbol table.
Oracle通过剔除重复的字段值,并替换为对唯一值的引用,来压缩表空间。表压缩可以在表空间级别,表级别,表分区级别指定。多个压缩策略可以作用于同一个表
4. 表空值
Nulls are stored in the database if they fall between columns with data values. In these cases they require 1 byte to store the length of the column (zero) Nulls are not indexed, except when the cluster key column value is null or the index is a bitmap index.
5. 分区表
分区表允许用户将一个大的表划分成多个小的,可独立管理的片段--称为分区表,甚至分区还可以再划分分区,分区表的好处是每个分区能够被分别的管理,而且在一个分区上进行的操作对其它分区没有产生影响
6. 临时表
临时表中的数据是会话私有的(这一点类似于Java中ThreadLocal类),数据仅对创建它的会话可见。临时表可以被多个不同事务或会话同时访问,但是每个会话或事务只能看到临时表中属于自己的那份私有数据。
在使用trunc命令清空数据时,只会清除属于自己的那部分临时数据,而不清空其它会话在临时表中的数据。
请注意:由于临时表的数据在事务结束或会话结束后就被自动丢弃,所以数据的最终变化过程并不会记录到redo日志文件。但是对于临时表在计算过程中产生的数据,同样会有undo log和对应的redo log产生。也就是说redo log是针对DML操作而产生的,而不是针对表的变化而产生的。
Oracle的实用套件可以export/import临时表的定义(实际上临时表本身并不会自动删除,和持久表一样它的定义一样也是保存在shcema下的),但是临时表中的数据不能被导出,即便用户使用了rows=Y这样的选项。
不同于普通类型的表在定义时就被创建,为了节省空间临时表只在第一条Insert语句执行时才创建。这也就是说:由于临时表是再第一次insert语句被执行时再创建,所以假如有一个临时表被创建后,另外一个连接在没有insert数据之前执行select,将不会看到任何数据。因为其他session插入的数据对它来说是不可见的。但是没有执行insert就select,update,delete则肯定会报错。
当一个会话向临时表发出了Insert请求时,就和临时表进行了绑定。当会话向临时表发出Trancate命令,或者事务被提交、回滚后会话和临时表之间的绑定关系就被解除。
请注意下面几点:
①在同一个会话中,不同的事务不能同时并发地使用同一个基于事务的临时表
②来自不同会话的事务则可以并发的访问同一个基于事务的临时表。
③假如事务中已经执行了Insert操作,此时假如事务尚未结束则事务的子事务不能再执行Insert操作(因为父事务尚未结束,不允许并发访问)
④假如事务的子事务执行了Insert操作,那么当子事务结束后其插入的数据将自动被删除。父事务或其它子事务可以执行Insert操作(因为子事务已经结束)
这是因为:因为临时表上面是没有DML锁的,所以同一个会话中的不同transaction如果并行访问临时表的话会引起数据混乱。但是不同的session中不同的事务并行访问同一个临时表是可以的,因为此时数据都是彼此不可见的。
7. 外部表
外部表(External table)可以访问数据库外的资源,就像访问数据库内部的表资源一样。外部表本身并不包含数据,它只包含两部分的定义:
1.表的列定义
2.表的列定和外部资源的转换映射规则
至于数据如何存储和读取则由驱动程序负责。由于外部表本身不存储数据而是从其它资源处读取数据,所以外部表是只读的,不能执行任何DML操作和索引创建操作。
外部表的Loading/unloading操作分别指从外部表中加载数据到数据库的表,以及从数据库中的表读取数据然后插入到外部表中。由于外部表和外部资源文件之间松散的联系,所以外部资源文件可以包含或不包含出现在外部表中的字段,数据类型也可能不一致。至于两者之间如何进行转换则靠外部的驱动程序完成。
那么外部表的用途在那里呢:当我们业务计算过程中需要临时读取一批大量数据(比如说日志记录),而这批数据又不是存储在自己的数据库(通常是远程数据库),而且数据不是以表的方式存储(通常是CSV文件),那么我们就需要从外部资源中来读入数据了。由于外部表并不存储数据,所以我们完全不怕大量的临时数据占据了宝贵的磁盘空间。
由于external table本身并不存储实际数据,而是依赖于外部资源。所以一旦数据被加载到external table后,如果需要更新。必须先unload后再load
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
1.1.3 普通表变为分区表
将已存在数据的普通表转变为分区表,没有办法通过修改属性的方式直接转化为分区表,必须通过重建的方式进行转变,一般可以有三种方法,视不同场景使用:
用例:
方法一:利用原表重建分区表。
CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
--------------------------------------------------------------------------------------------------------------
Begin
INSERT INTO T
SELECT ROWNUM, SYSDATE - ROWNUM FROM DBA_OBJECTS WHERE ROWNUM <= 5000;
COMMIT;
End;
--------------------------------------------------------------------------------------------------------------
CREATE TABLE T_NEW (ID, TIME) PARTITION BY RANGE (TIME)
(
PARTITION P1 VALUES LESS THAN (TO_DATE('2000-1-1', 'YYYY-MM-DD')),
PARTITION P2 VALUES LESS THAN (TO_DATE('2002-1-1', 'YYYY-MM-DD')),
PARTITION P3 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')),
PARTITION P4 VALUES LESS THAN (MAXVALUE)
)
AS SELECT ID, TIME FROM T;
-----------------------------------------------------------------------------------------------------------------
RENAME T TO T_OLD;
-----------------------------------------------------------------------------------------------------------------
RENAME T_NEW TO T;
-----------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T;
COUNT(*)
----------
5000
-------------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T PARTITION (P1);
COUNT(*)
----------
2946
-------------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T PARTITION (P2);
COUNT(*)
----------
731
--------------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T PARTITION (P3);
COUNT(*)
----------
1096
--------------------------------------------------------------------------------------------------------------------
优点:方法简单易用,由于采用DDL语句,不会产生UNDO,且只产生少量REDO,效率相对较高,而且建表完成后数据已经在分布到各个分区中了。
不足:对于数据的一致性方面还需要额外的考虑。由于几乎没有办法通过手工锁定T表的方式保证一致性,在执行CREATE TABLE语句和RENAME T_NEW TO T语句直接的修改可能会丢失,如果要保证一致性,需要在执行完语句后对数据进行检查,而这个代价是比较大的。另外在执行两个RENAME语句之间执行的对T的访问会失败。
适用于修改不频繁的表,在闲时进行操作,表的数据量不宜太大。
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
方法二:使用交换分区的方法。
Drop table t;
CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
-------------------------------------------------------------------------------------
Begin
INSERT INTO T
SELECT ROWNUM, SYSDATE - ROWNUM FROM DBA_OBJECTS WHERE ROWNUM <= 5000;
COMMIT;
End;
--------------------------------------------------------------------------------------
CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)
(
PARTITION P1 VALUES LESS THAN (TO_DATE('2005-9-1', 'YYYY-MM-DD')),
PARTITION P2 VALUES LESS THAN (MAXVALUE)
);
---------------------------------------------------------------------------------------
ALTER TABLE T_NEW EXCHANGE PARTITION P1 WITH TABLE T;
RENAME T TO T_OLD;
RENAME T_NEW TO T;
优点:只是对数据字典中分区和表的定义进行了修改,没有数据的修改或复制,效率最高。如果对数据在分区中的分布没有进一步要求的话,实现比较简单。在执行完RENAME操作后,可以检查T_OLD中是否存在数据,如果存在的话,直接将这些数据插入到T中,可以保证对T插入的操作不会丢失。
不足:仍然存在一致性问题,交换分区之后RENAME T_NEW TO T之前,查询、更新和删除会出现错误或访问不到数据。如果要求数据分布到多个分区中,则需要进行分区的SPLIT操作,会增加操作的复杂度,效率也会降低。
适用于包含大数据量的表转到分区表中的一个分区的操作。应尽量在闲时进行操作。
方法三:Oracle9i以上版本,利用在线重定义功能
Drop table t;
CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
INSERT INTO T
SELECT ROWNUM, SYSDATE - ROWNUM FROM DBA_OBJECTS WHERE ROWNUM <= 5000;
COMMIT;
--------------------------------------------------------------------------------------------------------------
EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE(USER, 'T');
PL/SQL 过程已成功完成。
---------------------------------------------------------------------------------------------------------------
CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)
(
PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')),
PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')),
PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),
PARTITION P4 VALUES LESS THAN (MAXVALUE)
);
表已创建。
-----------------------------------------------------------------------------------------------------------------
EXEC DBMS_REDEFINITION.START_REDEF_TABLE(USER, 'T', 'T_NEW');
PL/SQL 过程已成功完成。
-------------------------------------------------------------------------------------------------------------
EXEC DBMS_REDEFINITION.FINISH_REDEF_TABLE(USER, 'T', 'T_NEW');
PL/SQL 过程已成功完成。
-------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T;
COUNT(*)
----------
5000
---------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T PARTITION (P3);
COUNT(*)
----------
1096
优点:保证数据的一致性,在大部分时间内,表T都可以正常进行DML操作。只在切换的瞬间锁表,具有很高的可用性。这种方法具有很强的灵活性,对各种不同的需要都能满足。而且,可以在切换前进行相应的授权并建立各种约束,可以做到切换完成后不再需要任何额外的管理操作。
不足:实现上比上面两种略显复杂。
适用于各种情况。
这里只给出了在线重定义表的一个最简单的例子,详细的描述和例子可以参考下面两篇文章。
Oracle的在线重定义表功能:http://blog.itpub.net/post/468/12855
Oracle的在线重定义表功能(二):http://blog.itpub.net/post/468/12962
XSB:
把一个已存在数据的大表改成分区表:
第一种(表不是太大):
1.把原表改名:
rename xsb1 to xsb2;
2.创建分区表:
CREATE TABLE xsb1 PARTITION BY LIST (c_test)
(
PARTITION xsb1_p1 VALUES (1),
PARTITION xsb1_p2 VALUES (2),
PARTITION xsb1_p0 VALUES (default)
)
nologging AS SELECT * FROM xsb2;
3.将原表上的触发器、主键、索引等应用到分区表上;
4.删除原表:
drop table xsb2;
第二种(表很大):
1. 创建分区表:
CREATE TABLE x PARTITION BY LIST (c_test) [range ()]
(PARTITION p0 VALUES [less than ](1) tablespace tbs1,
PARTITION p2 VALUES (2) tablespace tbs1,
PARTITION xsb1_p0 VALUES ([maxvalue]default))
AS SELECT * FROM xsb2 [where 1=2];
2. 交换分区 alter table x exchange partition p0 with table bsvcbusrundatald ;
3. 原表改名alter table bsvcbusrundatald rename to x0;
4. 新表改名alter table x rename to bsvcbusrundatald ;
5. 删除原表drop table x0;
6. 创建新表触发器和索引create index ind_busrundata_lp on bsvcbusrundatald(。。。) local tablespace tbs_brd_ind ;
或者:
1. 规划原大表中数据分区的界限,原则上将原表中近期少量数据复制至另一表;
2. 暂停原大表中的相关触发器;
3. 删除原大表中近期数据;
4. 改名原大表名称;
5. 创建分区表;
6. 交换分区;
7. 重建相关索引及触发器(先删除之再重建).
参考脚本:
select count(*) from t1 where recdate>sysdate-2
create table x2 nologging as select * from t1 where recdate>trunc(sysdate-2)
alter triger trg_t1 disable
delete t1 where recdate>sysdate-2
commit
rename t1 to x1
create table t1 [nologging] partition by range(recdate)
(partition pbefore values less than (trunc(sysdate-2)),
partition pmax values less than (maxvalue))
as select * from x1 where 1=2
alter table t1 exchange partition pbefore with table x1
alter table t1 exchange partition pmax with table x2
drop table x2
[重建触发器]
drop table x1