--oracle-row piece in a database block

============

1.表数据的存储及格式

一个Oracle数据块(Data block)通常存储着一条记录的一个片段(Row piece),假如一条记录以多个记录片段的方式保存,那么这些记录片段之间会被互相"链接"。

当一个表拥有的列数目超过255个,那么每条记录的第255个字段之后的数据,会被存放到另外的记录片段中,以Rowid相连。这被称为(Intra-block chaining)。

因为同一条记录,不管被分成多少个row piece存储,每一个piece的rowid都是相同的。通过这一点就可以把数据“链接”起来。

每一个记录片段,不管是链接的还是非链接的,都包含了一个记录头(Row header)
row_piece_block
===============



2. Rowid

rowid会一直伴随Oracle记录,直到记录被删除。假如记录被export,然后import那么rowid也会改变。

3. 表压缩

Duplicate values in all the rows and columns in a block are stored once at the beginning of the block, in what is called a symbol table for that block. All occurrences of such values are replaced with a short reference to the symbol table.

Oracle通过剔除重复的字段值,并替换为对唯一值的引用,来压缩表空间。表压缩可以在表空间级别,表级别,表分区级别指定。多个压缩策略可以作用于同一个表

4. 表空值

Nulls are stored in the database if they fall between columns with data values. In these cases they require 1 byte to store the length of the column (zero) Nulls are not indexed, except when the cluster key column value is null or the index is a bitmap index.

5. 分区表


分区表允许用户将一个大的表划分成多个小的,可独立管理的片段--称为分区表,甚至分区还可以再划分分区,分区表的好处是每个分区能够被分别的管理,而且在一个分区上进行的操作对其它分区没有产生影响

6. 临时表


临时表中的数据是会话私有的(这一点类似于Java中ThreadLocal类),数据仅对创建它的会话可见。临时表可以被多个不同事务或会话同时访问,但是每个会话或事务只能看到临时表中属于自己的那份私有数据。

在使用trunc命令清空数据时,只会清除属于自己的那部分临时数据,而不清空其它会话在临时表中的数据。

请注意:由于临时表的数据在事务结束或会话结束后就被自动丢弃,所以数据的最终变化过程并不会记录到redo日志文件。但是对于临时表在计算过程中产生的数据,同样会有undo log和对应的redo log产生。也就是说redo log是针对DML操作而产生的,而不是针对表的变化而产生的。

Oracle的实用套件可以export/import临时表的定义(实际上临时表本身并不会自动删除,和持久表一样它的定义一样也是保存在shcema下的),但是临时表中的数据不能被导出,即便用户使用了rows=Y这样的选项。

不同于普通类型的表在定义时就被创建,为了节省空间临时表只在第一条Insert语句执行时才创建。这也就是说:
由于临时表是再第一次insert语句被执行时再创建,所以假如有一个临时表被创建后,另外一个连接在没有insert数据之前执行select,将不会看到任何数据。因为其他session插入的数据对它来说是不可见的。但是没有执行insert就select,update,delete则肯定会报错。

当一个会话向临时表发出了Insert请求时,就和临时表进行了绑定。当会话向临时表发出Trancate命令,或者事务被提交、回滚后会话和临时表之间的绑定关系就被解除。

请注意下面几点:

①在同一个会话中,不同的事务不能同时并发地使用同一个基于事务的临时表

②来自不同会话的事务则可以并发的访问同一个基于事务的临时表。

③假如事务中已经执行了Insert操作,此时假如事务尚未结束则事务的子事务不能再执行Insert操作(因为父事务尚未结束,不允许并发访问)

④假如事务的子事务执行了Insert操作,那么当子事务结束后其插入的数据将自动被删除。父事务或其它子事务可以执行Insert操作(因为子事务已经结束)


这是因为:因为临时表上面是没有DML锁的,所以同一个会话中的不同transaction如果并行访问临时表的话会引起数据混乱。但是不同的session中不同的事务并行访问同一个临时表是可以的,因为此时数据都是彼此不可见的。

7. 外部表

外部表(External table)可以访问数据库外的资源,就像访问数据库内部的表资源一样。外部表本身并不包含数据,它只包含两部分的定义:

1.表的列定义
2.表的列定和外部资源的转换映射规则

至于数据如何存储和读取则由驱动程序负责。由于外部表本身不存储数据而是从其它资源处读取数据,所以外部表是只读的,不能执行任何DML操作和索引创建操作。

外部表的Loading/unloading操作分别指从外部表中加载数据到数据库的表,以及从数据库中的表读取数据然后插入到外部表中。由于外部表和外部资源文件之间松散的联系,所以外部资源文件可以包含或不包含出现在外部表中的字段,数据类型也可能不一致。至于两者之间如何进行转换则靠外部的驱动程序完成。

那么外部表的用途在那里呢:当我们业务计算过程中需要临时读取一批大量数据(比如说日志记录),而这批数据又不是存储在自己的数据库(通常是远程数据库),而且数据不是以表的方式存储(通常是CSV文件),那么我们就需要从外部资源中来读入数据了。由于外部表并不存储数据,所以我们完全不怕大量的临时数据占据了宝贵的磁盘空间。

由于external table本身并不存储实际数据,而是依赖于外部资源。所以一旦数据被加载到external table后,如果需要更新。必须先unload后再load
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1.1.3 普通表变为分区表

将已存在数据的普通表转变为分区表,没有办法通过修改属性的方式直接转化为分区表,必须通过重建的方式进行转变,一般可以有三种方法,视不同场景使用:

用例:

方法一:利用原表重建分区表。

CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
--------------------------------------------------------------------------------------------------------------
Begin
INSERT INTO T
SELECT ROWNUM, SYSDATE - ROWNUM FROM DBA_OBJECTS WHERE ROWNUM <= 5000
;
COMMIT;

End;
--------------------------------------------------------------------------------------------------------------
CREATE TABLE T_NEW (ID, TIME) PARTITION BY RANGE (TIME)

(
      PARTITION P1 VALUES LESS THAN (TO_DATE('2000-1-1', 'YYYY-MM-DD')), 

      PARTITION P2 VALUES LESS THAN (TO_DATE('2002-1-1', 'YYYY-MM-DD')), 
      PARTITION P3 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')), 
      PARTITION P4 VALUES LESS THAN (MAXVALUE)
)

AS SELECT ID, TIME FROM T;
-----------------------------------------------------------------------------------------------------------------

RENAME T TO T_OLD;
-----------------------------------------------------------------------------------------------------------------
RENAME T_NEW TO T;
-----------------------------------------------------------------------------------------------------------------

SELECT COUNT(*) FROM T;

COUNT(*)
----------
5000
-------------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T PARTITION (P1);

COUNT(*)
----------
2946
-------------------------------------------------------------------------------------------------------------------

SELECT COUNT(*) FROM T PARTITION (P2);

COUNT(*)
----------
731
--------------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T PARTITION (P3);

COUNT(*)
----------
1096
--------------------------------------------------------------------------------------------------------------------

优点:方法简单易用,由于采用
DDL语句,不会产生UNDO,且只产生少量REDO,效率相对较高,而且建表完成后数据已经在分布到各个分区中了。

不足:对于数据的一致性方面还需要额外的考虑。由于几乎没有办法通过手工锁定T表的方式保证一致性,在执行CREATE TABLE语句和RENAME T_NEW TO T语句直接的修改可能会丢失,如果要保证一致性,需要在执行完语句后对数据进行检查,而这个代价是比较大的。另外在执行两个RENAME语句之间执行的对T的访问会失败。

适用于修改不频繁的表,在闲时进行操作,表的数据量不宜太大。

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
方法二:使用交换分区的方法。

Drop table t;
CREATE
TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
-------------------------------------------------------------------------------------
Begin
INSERT INTO T
SELECT ROWNUM, SYSDATE - ROWNUM FROM DBA_OBJECTS WHERE ROWNUM <= 5000
;
COMMIT;
End;
--------------------------------------------------------------------------------------
CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE)  PARTITION BY RANGE (TIME)

(
      PARTITION P1 VALUES LESS THAN (TO_DATE('2005-9-1', 'YYYY-MM-DD')), 

      PARTITION P2 VALUES LESS THAN (MAXVALUE)
);
---------------------------------------------------------------------------------------

ALTER TABLE T_NEW EXCHANGE PARTITION P1 WITH TABLE T;

RENAME T TO T_OLD;

RENAME T_NEW TO T;

优点:只是对数据字典中分区和表的定义进行了修改,没有数据的修改或复制,效率最高。如果对数据在分区中的分布没有进一步要求的话,实现比较简单。在执行完RENAME操作后,可以检查T_OLD中是否存在数据,如果存在的话,直接将这些数据插入到T中,可以保证对T插入的操作不会丢失。

不足:仍然存在一致性问题,交换分区之后RENAME T_NEW TO T之前,查询、更新和删除会出现错误或访问不到数据如果要求数据分布到多个分区中,则需要进行分区的SPLIT操作,会增加操作的复杂度,效率也会降低。

适用于包含大数据量的表转到分区表中的一个分区的操作。应尽量在闲时进行操作。

方法三:Oracle9i以上版本,利用在线重定义功能

Drop table t;
CREATE
TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
INSERT INTO T
SELECT ROWNUM, SYSDATE - ROWNUM FROM DBA_OBJECTS WHERE ROWNUM <= 5000
;
COMMIT;
--------------------------------------------------------------------------------------------------------------
EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE(USER, 'T');

PL/SQL 过程已成功完成。
---------------------------------------------------------------------------------------------------------------
CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)

(
PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')),

PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')),
PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),
PARTITION P4 VALUES LESS THAN (MAXVALUE)
);

表已创建。
-----------------------------------------------------------------------------------------------------------------
 

EXEC DBMS_REDEFINITION.START_REDEF_TABLE(USER, 'T', 'T_NEW');

PL/SQL 过程已成功完成。
-------------------------------------------------------------------------------------------------------------
EXEC DBMS_REDEFINITION.FINISH_REDEF_TABLE(USER, 'T', 'T_NEW');

PL/SQL 过程已成功完成。
-------------------------------------------------------------------------------------------------------------
SELECT COUNT(*) FROM T;

COUNT(*)
----------
5000
---------------------------------------------------------------------------------------------------------------

SELECT COUNT(*) FROM T PARTITION (P3);

COUNT(*)
----------
1096

优点:保证数据的一致性,在大部分时间内,表T都可以正常进行DML操作只在切换的瞬间锁表,具有很高的可用性。这种方法具有很强的灵活性,对各种不同的需要都能满足。而且,可以在切换前进行相应的授权并建立各种约束,可以做到切换完成后不再需要任何额外的管理操作。

不足:实现上比上面两种略显复杂。

适用于各种情况。

这里只给出了在线重定义表的一个最简单的例子,详细的描述和例子可以参考下面两篇文章。

Oracle的在线重定义表功能:http://blog.itpub.net/post/468/12855

Oracle的在线重定义表功能(二):http://blog.itpub.net/post/468/12962

XSB:

把一个已存在数据的大表改成分区表:

第一种(表不是太大):

1.把原表改名:
rename xsb1 to xsb2;
2.
创建分区表:
CREATE TABLE xsb1 PARTITION BY LIST (c_test)
(
      PARTITION xsb1_p1 VALUES (1),

      PARTITION xsb1_p2 VALUES (2),
      PARTITION xsb1_p0 VALUES (default)
)

nologging AS SELECT * FROM xsb2;
3.
将原表上的触发器、主键、索引等应用到分区表上
4.
删除原表:
drop table xsb2;

第二种(表很大)

1. 创建分区表:
CREATE TABLE x PARTITION BY LIST (c_test) [range ()]
(PARTITION p0 VALUES [less than ](1) tablespace tbs1,
PARTITION p2 VALUES (2) tablespace tbs1,
PARTITION xsb1_p0 VALUES ([maxvalue]default))
AS SELECT * FROM xsb2 [where 1=2];

2. 交换分区 alter table x exchange partition p0 with table bsvcbusrundatald ;

3. 原表改名alter table bsvcbusrundatald rename to x0;

4. 新表改名alter table x rename to bsvcbusrundatald ;

5. 删除原表drop table x0;

6. 创建新表触发器和索引create index ind_busrundata_lp on bsvcbusrundatald(。。。) local tablespace tbs_brd_ind ;

或者:

1. 规划原大表中数据分区的界限,原则上将原表中近期少量数据复制至另一表;

2. 暂停原大表中的相关触发器;

3. 删除原大表中近期数据;

4. 改名原大表名称;

5. 创建分区表;

6. 交换分区;

7. 重建相关索引及触发器(先删除之再重建).

参考脚本:

select count(*) from t1 where recdate>sysdate-2

create table x2 nologging as select * from t1 where recdate>trunc(sysdate-2)

alter triger trg_t1 disable

delete t1 where recdate>sysdate-2

commit

rename t1 to x1

create table t1 [nologging] partition by range(recdate)

(partition pbefore values less than (trunc(sysdate-2)),

partition pmax values less than (maxvalue))

as select * from x1 where 1=2

alter table t1 exchange partition pbefore with table x1

alter table t1 exchange partition pmax with table x2

drop table x2

[重建触发器]

drop table x1

posted @ 2009-06-02 16:13  mop  阅读(506)  评论(0)    收藏  举报