日志挖掘(logminer)

转。

如何使用logminer分析Oracle 联机日志

笔者在工作中经常遇到这样的情况：为了追踪数据的变化，需要知道某个表或者表中的某行数据是什么时候被修改的，以及修改前的内容。但是，Oracle并不提供这样的功能。怎么才能做到这一点呢？我们都知道，Oracle 的联机日志（Online redo log）和归档日志（Archived redo log）中记录了每一个数据库事务（transaction），也就是说，这些日志文件中保存了自Oracle运行以来所有的数据修改操作，但是，在Oracle 8以及以前的版本中，并没有提供任何手段可以让DBA来发掘这里面的内容。这正像一座富矿，却没有手段开采，只能任其沉睡。但是现在情况已经改变，Oracle 8i 中提供了一个工具，logminer，来分析这些日志文件。本文就是结合笔者的使用经验，介绍这个工具的使用。

本文分三部分：第一部分，介绍如何设置、使用logminer；第二部分，介绍一些logminer的实际应用；第三部分，介绍logminer 的两个特别技巧

第一部分：设置logminer

一，首先，建立一个字典文件(dictionary file)。
Oracle 的日志文件中，对于表等用户对象( Object)，并不是保存名字，而是保存一个ID 号。建立字典文件的目的就是使logminer在分析时可以将Object ID翻译成我们所熟悉的对象名。
建立字典文件之前，先要确保数据库的初始化参数 UTL_FILE_DIR 已经正确地设置。在sqlplus 下键入 show parameters utl_file_dir, 可以看到该参数的当前设置。如果没有值，必须修改数据库的initsid.ora文件，将utl_file_dir 指向一个你想用来保存字典文件的路径。本例中，笔者设置 UTL_FILE_DIR=/u11/logs。
创建字典文件的语句如下例：
begin sys.dbms_logmnr_d.build(dictionary_filename=>'dictionary.ora', dictionary_location =>'/u11/logs');
end;
其中，dictionary.ora是笔者给字典文件起的文件名（可任意）。
整个创建过程，可能需要十几分钟到一个小时，视该数据库的object 个数以及繁忙程度而定。完成后，会在/u11/logs目录下看到一个名为dictionary.ora的文件。

二，选取要分析的文件
日志文件和归档日志文件的数量是非常多的。以笔者公司的数据库而言，每半小时要产生一个50M的日志文件，数据量非常之大。因此事实上不可能把所有的日志文件都分析一遍（你要做也行，不过要保证有足够的空间和时间，并且不怕影响数据库性能），通常选取你感兴趣的时间段内的日志进行分析。
选取日志文件的操作如下例：
begin sys.dbms_logmnr.add_logfile (logfilename =>'/02/admin/mydb/redo01.log', options=>sys.dbms_logmnr.NEW);
end;

一次只能选取一个文件。若要增加文件，使用下例：
begin sys.dbms_logmnr.add_logfile (logfilename =>'/02/admin/mydb/redo02.log', options=>sys.dbms_logmnr.ADDFILE);
end;

若想去掉一个已经选取或增加的文件，使用REMOVEFILE:
begin sys.dbms_logmnr.add_logfile (logfilename =>'/02/admin/mydb/redo02.log', options=>sys.dbms_logmnr.REMOVEFILE);
end;

如此反复操作，可以把所有要分析的文件都选取进去。

三，进行分析
选取好所有需要分析的文件后，执行下面的命令，开始分析：
begin sys.dbms_logmnr.start_logmnr (dictfilename =>'dictionary.ora');
end;
注意，这里的dictionary.ora就是前面创建的字典文件名。
分析过程根据所选取文件的数据量，可能需要几个小时。有时候，DBA可能并不需要这些日志文件中所有的数据，那么能否只分析部分数据呢？Oracle 容许你只分析指定时间段或者指定SCN段的数据，语法示例如下：
begin sys.dbms_logmnr.start_logmnr (dictfilename =>'dictionary.ora'，starttime =>to_date('01-Aug-2001 08:30:00', 'DD-MON-YYYY HH:MI:SS'),endtime => to_date('01-Aug-2001 08:45:00', 'DD-MON-YYYY HH:MI:SS'));
end;
或者，
begin sys.dbms_logmnr.start_logmnr (dictfilename =>'dictionary.ora'，startscn =>100,endscn =>500);
end;

分析结束后，所分析到的数据可以从一个名为 V$LOGMNR_CONTENTS的视图中查询到。我们就可以应用这个视图中的内容来达成目的。

第二部分：应用logminer

应用范例一：跟踪一个特定用户

DBA对某一个具有数据修改权限的用户产生了疑问，想了解该用户在最近几天对数据做了什么样的修改。审计（Audit）只能知道该用户修改了哪些表，无法确认所修改的内容（Trigger Audit 可以确认内容，但严重影响系统性能）。使用logminer 可以做到。
在按照第一部分的说明进行操作后，查询v$logmnr_contents视图：
SELECT sql_redo, sql_undo FROM v$logmnr_contents WHERE username = 'Sigurd' AND tablename = 'SALARY';
这个语句查询用户Sigurd 对Salary 表进行过什么样的修改。可能的输出如下：
SQL_REDO SQL_UNDO
-------- --------
delete * from SALARY insert into SALARY
where EMPNO = 12345 ( NAME,EMPNO,SAL)
and ROWID = 'AAABOOAABAAEPCABA'; values ('Sigurd', 12345,500);

insert into SALARY(NAME, EMPNO, SAL) delete * from SALARY
values('Sigurd',12345,2500); where EMPNO = 12345
and ROWID = ‘AAABOOAABAAEPCABA';
2 rows selected

可以看到，Sigurd 对自己的工资进行了修改，将修改前的500提高到了修改后的2500 . 注意update操作在日志中是被纪录成一个delete操作外加一个insert操作。从SQL_UNDO列中可以看到update前的内容，Sigurd的薪水是500。从SQL_REDO列看到，新的薪水是2500，其他数据未变。如果在查询中加入 timestamp 这个字段，更可以看到修改所发生的具体时间。

Logminer是每个Dba都应熟悉的工具，当一天由于用户的误操作你需要做不完全的恢复时，由于你无法确定这个操作是哪个时间做的，所以这对你的恢复就带来的很大的难度，丢失的数据也不能完全恢复回来。而LogMiner就可以帮你确定这个误操作的准确时间。

测试环境是Aix4.3.3的操作系统，Oracle9.2.0.3的测试库。

一、LogMiner的几点说明
1、LogMiner可以帮你确定在某段时间所发的各种DML，DDL操作的具体时间和SCN号，它所依据的是归档日志文件及联机日志文件。
2、它只能在Oracle8i及以后的版本中使用，不过它可以分析Oracle8的日志。
3、Oracle8i只能用于分析DML操作，到Oracle9i则可以分析DDL操作了。
4、LogMiner不支持索引组织表、Long、LOB及集合类型。
5、MTS的环境也不能使用LogMiner.

二、操作步骤
1、设定用于LogMiner分析的数据文件存放的位置
这是设定utl_file_dir参数的过程，我的示例:
a、在initctc.ora文件中加入如下一行
    utl_file_dir=/u01/arch
b、得启数据库
   oracle>sqlplus /nolog
   sql>conn / as sysdba
   sql>shutdown immediate
   sql>statup

2、生成数据字典文件,是通过dbms_logmnr_d.build()来完成。
SQL> BEGIN
   2     dbms_logmnr_d.build(
   3       dictionary_filename => 'logminer_dict.dat',
   4       dictionary_location => '/u01/arch'
   5     );
   6 END;
   7 /

dictionary_location指的是Logminer数据字典文件存放的位置,它必须匹配utl_file_dir的设定。
其中的dictionary_filename指的是放于存放位置的字典文件的名字,名字可以任意取。

3、建立一个日志分析表
a、建立日志分析表数据库必须在mount或nomount状态,启动数据库到mount状态。
    sqlplus /nolog
    sql>conn / as sysdba
    sql>shutdown immediate
    sql>starup mount

b、建立日志分析表,使用dbms_logmnr.add_logfile()
    SQL> BEGIN
   2     dbms_logmnr.add_logfile(
   3       options => dbms_logmnr.new,
   4       logfilename => '/u01/arch/arc_ctc_0503.arc'
   5     );
   6 END;
   7 /
    其中的options有三种取值，dbms_logmnr.new用于建一个日志分析表;dbms_logmnr.addfile用于加入用于分析的的日志文件;dbms_logmnr.removefile用于移出用于分析的日志文件。

4、添加用于分析的日志文件。
    SQL> BEGIN
   2     dbms_logmnr.add_logfile(
   3       options => dbms_logmnr.addfile,
   4       logfilename => '/u01/arch/arc_ctc_0504.arc'
   5     );
   6 END;
   7 /

使用则可以把这个文件从日志分析表中移除，从而不进行分析。
    SQL> BEGIN
   2     dbms_logmnr.add_logfile(
   3       options => dbms_logmnr.removefile,
   4       logfilename => '/u01/arch/arc_ctc_0503.arc'
   5     );
   6 END;
   7 /

5、启动LogMiner进行分析。
    SQL> BEGIN
   2     dbms_logmnr.start_logmnr(
   3       dictfilename => '/u01/arch/logminer_dict.dat',
   4       starttime => to_date('20030501 12:15:00','yyyymmdd hh24:mi:ss'),
   5       endtime => to_date('20030501 15:40:30','yyyymmdd hh24:mi:ss')
     6     );
     7 END;
     8 /

    即分析2003年5月1日这天12:15至15:40这段时间，并把分析结果放到数据字典中以用于查询。还有两个参数StartScn(起始scn号)及EndScn(终止Scn)号。

6、查看日志分析的结果,通过查询v$logmnr_contents可以查询到
a、查看DML操作,示例:
    SELECT operation,
           sql_redo,
           sql_undo,
      FROM V$logmnr_contents
     WHERE seg_name = 'QIUYB';

     OPERATION     SQL_REDO                    SQL_UNDO
     ----------    -------------------------- --------------------------
     INSERT        inser into qiuyb.qiuyb ... delete from qiuyb.qiuyb...

    其中operation指的是操作，sql_redo指的是实际的操作，sql_undo指的是用于取消的相反的操作。

b、查看DDL操作,示例:
    SELECT timstamp,
           sql_redo
      FROM v$logmnr_contents
     WHERE upper(sql_redo) like '%TRUNCATE%';

7、结束LogMiner的分析。
SQL>BEGIN
   2     dbms_logmnr.end_logmnr;
   3   end;
   4 /

三、与LogMiner相关的数据字典。
1、v$loglist 它用于显示历史日志文件的一些信息
2、v$logmnr_dictionary 因logmnr可以有多个字典文件，该视图用于显示这方面信息。
3、v$logmnr_parameters 它用于显示logmnr的参数
4、v$logmnr_logs 它用于显示用于分析的日志列表信息。

=====================================================================================

Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle 重作日志文件（归档日志文件）中的具体内容，特别是，该工具可以分析出所有对于数据库操作的DML（insert、update、delete等）语句，另外还可分析得到一些必要的回滚SQL语句。该工具特别适用于调试、审计或者回退某个特定的事务。
　　
　　LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图（Oracle8i内置包的一部分）组成，它作为Oracle数据库的一部分来发布，是8i产品提供的一个完全免费的工具。但该工具和其他Oracle内建工具相比使用起来显得有些复杂，主要原因是该工具没有提供任何的图形用户界面（GUI）。本文将详细介绍如何安装以及使用该工具。
　　
　　一、LogMiner的用途
　　日志文件中存放着所有进行数据库恢复的数据，记录了针对数据库结构的每一个变化，也就是对数据库操作的所有DML语句。
　　
　　在Oracle 8i之前，Oracle没有提供任何协助数据库管理员来读取和解释重作日志文件内容的工具。系统出现问题，对于一个普通的数据管理员来讲，唯一可以作的工作就是将所有的log文件打包，然后发给Oracle公司的技术支持，然后静静地等待Oracle 公司技术支持给我们最后的答案。然而从8i以后，Oracle提供了这样一个强有力的工具-LogMiner。
　　
　　LogMiner 工具即可以用来分析在线，也可以用来分析离线日志文件，即可以分析本身自己数据库的重作日志文件，也可以用来分析其他数据库的重作日志文件。
　　
　　总的说来，LogMiner工具的主要用途有：
　　
　　1．跟踪数据库的变化：可以离线的跟踪数据库的变化，而不会影响在线系统的性能。
　　
　　2．回退数据库的变化：回退特定的变化数据，减少point-in-time recovery的执行。
　　
　　3．优化和扩容计划：可通过分析日志文件中的数据以分析数据增长模式。
　　
　　二、安装LogMiner
　　要安装LogMiner工具，必须首先要运行下面这样两个脚本，
　　
　　l $ORACLE_HOME/rdbms/admin/dbmslm.sql
　　
　　2 $ORACLE_HOME/rdbms/admin/dbmslmd.sql.
　　
　　这两个脚本必须均以SYS用户身份运行。其中第一个脚本用来创建DBMS_LOGMNR包，该包用来分析日志文件。第二个脚本用来创建DBMS_LOGMNR_D包，该包用来创建数据字典文件。
　　
　　三、使用LogMiner工具
　　下面将详细介绍如何使用LogMiner工具。
　　
　　1、创建数据字典文件（data-dictionary）
　　
　　前面已经谈到，LogMiner工具实际上是由两个新的PL/SQL内建包（(DBMS_LOGMNR 和 DBMS_ LOGMNR_D）和四个V$动态性能视图（视图是在利用过程DBMS_LOGMNR.START_LOGMNR启动LogMiner时创建）组成。在使用LogMiner工具分析redo log文件之前，可以使用DBMS_LOGMNR_D 包将数据字典导出为一个文本文件。该字典文件是可选的，但是如果没有它，LogMiner解释出来的语句中关于数据字典中的部分（如表名、列名等）和数值都将是16进制的形式，我们是无法直接理解的。例如，下面的sql语句：
　　
　　INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '张三');
　　
　　LogMiner解释出来的结果将是下面这个样子，
　　
　　insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'), hextoraw('4a6f686e20446f65'));
　　
　　创建数据字典的目的就是让LogMiner引用涉及到内部数据字典中的部分时为他们实际的名字，而不是系统内部的16进制。数据字典文件是一个文本文件，使用包DBMS_LOGMNR_D来创建。如果我们要分析的数据库中的表有变化，影响到库的数据字典也发生变化，这时就需要重新创建该字典文件。另外一种情况是在分析另外一个数据库文件的重作日志时，也必须要重新生成一遍被分析数据库的数据字典文件。
　　
　　首先在init.ora初始化参数文件中，指定数据字典文件的位置，也就是添加一个参数UTL_FILE_DIR，该参数值为服务器中放置数据字典文件的目录。如：
　　
　　UTL_FILE_DIR = (e:\Oracle\logs)
　　
　　重新启动数据库，使新加的参数生效，然后创建数据字典文件：
　　
　　SQL> CONNECT SYS
　　
　　SQL> EXECUTE dbms_logmnr_d.build(
　　
　　dictionary_filename => ' v816dict.ora',
　　
　　dictionary_location => 'e:\oracle\logs');

　2、创建要分析的日志文件列表
　　
　　Oracle的重作日志分为两种，在线（online）和离线（offline）归档日志文件，下面就分别来讨论这两种不同日志文件的列表创建。
　　
　　（1）分析在线重作日志文件
　　
　　A. 创建列表
　　
　　SQL> EXECUTE dbms_logmnr.add_logfile(
　　
　　LogFileName=>' e:\Oracle\oradata\sxf\redo01.log',
　　
　　Options=>dbms_logmnr.new);
　　
　　B. 添加其他日志文件到列表
　　
　　SQL> EXECUTE dbms_logmnr.add_logfile(
　　
　　LogFileName=>' e:\Oracle\oradata\sxf\redo02.log',
　　
　　Options=>dbms_logmnr.addfile);（2）分析离线日志文件
　　
　　A.创建列表
　　
　　SQL> EXECUTE dbms_logmnr.add_logfile(
　　
　　LogFileName=>' E:\Oracle\oradata\sxf\archive\ARCARC09108.001',
　　
　　Options=>dbms_logmnr.new);
　　
　　B.添加另外的日志文件到列表
　　
　　SQL> EXECUTE dbms_logmnr.add_logfile(
　　
　　LogFileName=>' E:\Oracle\oradata\sxf\archive\ARCARC09109.001',
　　
　　Options=>dbms_logmnr.addfile);关于这个日志文件列表中需要分析日志文件的个数完全由你自己决定，但这里建议最好是每次只添加一个需要分析的日志文件，在对该文件分析完毕后，再添加另外的文件。
　　
　　和添加日志分析列表相对应，使用过程 'dbms_logmnr.removefile' 也可以从列表中移去一个日志文件。下面的例子移去上面添加的日志文件e:\Oracle\oradata\sxf\redo02.log。
　　
　　SQL> EXECUTE dbms_logmnr.add_logfile(
　　
　　LogFileName=>' e:\Oracle\oradata\sxf\redo02.log',
　　
　　Options=>dbms_logmnr. REMOVEFILE);
　　
　　创建了要分析的日志文件列表，下面就可以对其进行分析了。
　　
　　3、使用LogMiner进行日志分析
　　
　　（1）无限制条件
　　
　　SQL> EXECUTE dbms_logmnr.start_logmnr(
　　
　　DictFileName=>' e:\oracle\logs\ v816dict.ora ');
　　
　　（2）有限制条件
　　
　　通过对过程DBMS_ LOGMNR.START_LOGMNR中几个不同参数的设置（参数含义见表1），可以缩小要分析日志文件的范围。通过设置起始时间和终止时间参数我们可以限制只分析某一时间范围的日志。如下面的例子，我们仅仅分析2001年9月18日的日志，：
　　
　　SQL> EXECUTE dbms_logmnr.start_logmnr(
　　
　　DictFileName => ' e:\oracle\logs\ v816dict.ora ',
　　
　　StartTime => to_date('2001-9-18 00:00:00','YYYY-MM-DD HH24:MI:SS')
　　
　　EndTime => to_date(''2001-9-18 23:59:59','YYYY-MM-DD HH24:MI:SS '));
　　
　　也可以通过设置起始SCN和截至SCN来限制要分析日志的范围：
　　
　　SQL> EXECUTE dbms_logmnr.start_logmnr(
　　
　　DictFileName => ' e:\oracle\logs\ v816dict.ora ',
　　
　　StartScn => 20,
　　
　　EndScn => 50);
　　
　　表1 DBMS_LOGMNR.START__LOGMNR过程参数含义

4、观察分析结果（v$logmnr_contents）
　　到现在为止，我们已经分析得到了重作日志文件中的内容。动态性能视图v$logmnr_contents包含LogMiner分析得到的所有的信息。
　　
　　SELECT sql_redo FROM v$logmnr_contents;
　　
　　如果我们仅仅想知道某个用户对于某张表的操作，可以通过下面的SQL查询得到，该查询可以得到用户DB_ZGXT对表SB_DJJL所作的一切工作。
　　
　　SQL> SELECT sql_redo FROM v$logmnr_contents WHERE username='DB_ZGXT' AND tablename='SB_DJJL';
　　
　　需要强调一点的是，视图v$logmnr_contents中的分析结果仅在我们运行过程'dbms_logmrn.start_logmnr'这个会话的生命期中存在。这是因为所有的LogMiner存储都在PGA内存中，所有其他的进程是看不到它的，同时随着进程的结束，分析结果也随之消失。
　　
　　最后，使用过程DBMS_LOGMNR.END_LOGMNR终止日志分析事务，此时PGA内存区域被清除，分析结果也随之不再存在。
　　
　　四、其他注意事项
　　我们可以利用LogMiner日志分析工具来分析其他数据库实例产生的重作日志文件，而不仅仅用来分析本身安装LogMiner的数据库实例的redo logs文件。使用LogMiner分析其他数据库实例时，有几点需要注意：
　　
　　1. LogMiner必须使用被分析数据库实例产生的字典文件，而不是安装LogMiner的数据库产生的字典文件，另外必须保证安装LogMiner数据库的字符集和被分析数据库的字符集相同。
　　
　　2. 被分析数据库平台必须和当前LogMiner所在数据库平台一样，也就是说如果我们要分析的文件是由运行在UNIX平台上的Oracle 8i产生的，那么也必须在一个运行在UNIX平台上的Oracle实例上运行LogMiner，而不能在其他如Microsoft NT上运行LogMiner。当然两者的硬件条件不一定要求完全一样。
　　
　　3. LogMiner日志分析工具仅能够分析Oracle 8以后的产品，对于8以前的产品，该工具也无能为力。
　　
　　五、结语
　　LogMiner对于数据库管理员（DBA）来讲是个功能非常强大的工具，也是在日常工作中经常要用到的一个工具，借助于该工具，可以得到大量的关于数据库活动的信息。其中一个最重要的用途就是不用全部恢复数据库就可以恢复数据库的某个变化。另外，该工具还可用来监视或者审计用户的活动，如你可以利用 LogMiner工具察看谁曾经修改了那些数据以及这些数据在修改前的状态。我们也可以借助于该工具分析任何Oracle 8及其以后版本产生的重作日志文件。另外该工具还有一个非常重要的特点就是可以分析其他数据库的日志文件。总之，该工具对于数据库管理员来讲，是一个非常有效的工具，深刻理解及熟练掌握该工具，对于每一个数据库管理员的实际工作是非常有帮助的。

posted on 2016-07-30 18:01 张冲andy 阅读(1045) 评论(1) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

张冲andy

日志挖掘(logminer)

导航

公告