Oracle RAC服务器重启故障排查

　　Oracle Real Application Clusters（Oracle RAC），相对于Oracle单实例来说部署安装和维护都增加了难度，尤其在日常的维护和故障处理过程中，各种日志的查看更加重要，本文主要对Oracle 11g 集群下的目录结构和路径进行介绍和说明。

　　以下是集群目录下日志结构，以及对应目录的功能说明，对排查问题尤其重要。

[grid@dbrac1 dbrac1]$ tree -d
.
├── acfslog
├── acfsrepl
├── acfsreplroot
├── acfssec
├── admin
├── agent                       <==========包含CRSD和OHASD守护进程的oraagent、orarootagent、oracssdagent和oracssdmonitor的跟踪及诊断日志文件
│   ├── crsd
│   │   ├── application_root
│   │   ├── oraagent_grid
│   │   ├── oraagent_oracle
│   │   ├── orarootagent_root
│   │   └── scriptagent_grid
│   └── ohasd
│       ├── oraagent_grid
│       ├── oracssdagent_root
│       ├── oracssdmonitor_root
│       └── orarootagent_root
├── client                    <==========包含各种GI客户端(如CLSCFG/GPNP/OCRCONFIG/OLSNODES/OIFCFG)的跟踪和诊断日志。
├── crflogd                   <==========包含由Oracle集群健康监控器(Oracle CHM)提供的集群记录器服务记录的跟踪和诊断日志文件。
├── crfmond                   <==========包含由Oracle集群健康监控器(Oracle CHM)提供的系统监控服务记录的跟踪和诊断日志文件。
├── crsd                      <==========包含Oracle CRSD守护进程的跟踪和诊断日志文件，在发生任何Oracle集群件问题时，从该目录开始着手处理是很不错的起点
├── cssd                      <==========包含集群同步CSS日志，其中包括来自客户端CSS侦听器的操作
├── ctssd                     <==========包含用于排除Oracle集群时间同步服务故障的调试日志文件，这一服务在Oracle GI中引入，用于同步集群节点上的时钟。
├── cvu                       <==========包含由Oracle集群验证实用工具生成的跟踪和调试日志
│   ├── cvulog
│   └── cvutrc
├── diskmon                   <==========用于排除Oracle磁盘监控器守护进程故障的调试日志文件。
├── evmd                      <==========包含事件卷管理器(EVM)和evmlogger守护进程的跟踪及诊断文件。它在调试中使用频率要低于crsd和cssd目录。
├── gipcd                     <==========包含用于排除Oracle网格进程间通信守住程序进程故障的调试和跟踪文件。
├── gnsd                      <==========包含用于排除Oracle网格命名服务相关问题的跟踪和调试日志文件，这一服务是在Oracle GI中引入的。
├── gpnpd                     <==========包含Oracle网格即插即用守护进程的日志和输出文件。
├── mdnsd                     <==========包含用于排除多播域名服务故障的跟踪和诊断日志文件。Oracle网格命名服务使用这一服务来管理名称解析和服务发现。
├── ohasd                     <==========包含Oracle高可用性服务守护进程的日志和输出文件。ohasd日志文件是对于Oracle11g以及更高版本中诊断集群启动问题是真正重要的文件
├── racg                      <==========包括各个Oracle RACG可执行文件中跟踪和调试日志
│   ├── racgeut
│   ├── racgevtf
│   └── racgmain
└── srvm                      <==========包含Oracle服务器管理器服务的日志文件

38 directories
[grid@dbrac1 dbrac1]$ pwd
/u01/app/11.2.0/grid/log/dbrac1

除以上目录外，/u01/app/11.2.0/grid/log/dbrac1/alertdbrac1.log日志也相当重要，出问题第一个需要查看的目录。

　　介绍完集群的日志后，下面说一则案例，关于客户集群单节点服务器重启，日志查看顺序。与客户沟通确认，大概下午3点左右重启。

　　1、查看系统日志，排查重启时间，确实14：51：38，系统日志开始清理集群进程，并重启了系统，但是谁发起了本次请求，还需要进一步查看集群日志