一次生产环境搭建11g RAC的记录
一、使用惠普3par工具配置共享存储
该部分可由惠普工作人员协助配置，只需将需求告知即可。如果想自己配置，惠普厂商会发送相关的软件工具以及操作手册给用户。
用putty登陆共享存储，使用showpd -c可以查看当前阵列柜的容量及使用情况
说明：当删除已经创建的虚拟卷时，磁盘空间释放得特别慢，所以在创建虚拟卷时最好规划好资源配置。
二、RAC搭建
1、在主机上安装操作系统：
2、配置RAC环境（包括依赖包的安装，用户及用户组建立，相关环境变量的设置，创建路径等），该部分网上有很多文档，具体可参考《一步一步在linux上安装11.2.0.3.0 RAC+Datagard》或者http://www.zhaibibei.cn/oinstall/2.4/ ，这两篇文档很好的介绍了搭建RAC的整个过程。
3、使用主机识别共享存储：
3par工具建立好虚拟卷并导出到主机后，需重启主机才能识别到，执行fdisk -l 后会看到很多容量相同的磁盘，这是因为3par提供了多路径配置的功能，相关信息可以参考：https://zhuanlan.zhihu.com/p/26714897，这里我们不配置多路径。按照字母顺序选择前面的几个磁盘组进行格式化，格式化方法《一步一步在linux上安装11.2.0.3.0 RAC+Datagard》中有，这里的意思是假如你创建了五个大小不一样的虚拟卷，主机会识别到二十个甚至更多（跟光纤卡的个数有关），只需选择字母排序靠前的前五个大小不一样的进行格式化即可，格式化后可以看到所有的磁盘都被格式了。
然后安装oracleasm包，之后进行ASM磁盘的创建，最后进行grid的安装，grid安装的最后会报一个PRVF-4657错误，该错误是由于没配置DNS导致的，可以忽略，详细情况可以查看：https://blog.csdn.net/aaron8219/article/details/10127987。
三、进行ASM存储扩容：
在3par工具上添加一个虚拟卷，并导出到相关主机，RAC主机需要重启才能识别到新的卷。
首先关库：
[grid@hzcd-mac3-rac1 ~]$ srvctl start database -d cdsfc
再关集群：
[root@hzcd-mac3-rac2 bin]#./crsctl stop cluster -all
最后重启服务器，服务器重启之后使用fdisk -l查看，已经能看到新建的卷，然后在节点一上使用oracleasm createdisk 命令创建共享磁盘，在节点二上使用oracleasm scandisks 扫描磁盘，使用oracleasm listdisks 确保两个节点都能看到新建的共享磁盘，然后在grid用户下使用sqlplus / as sysasm 登陆
SQL> select group_number,name,TOTAL_MB, FREE_MB from v$asm_diskgroup;--查看已有的磁盘组
SQL> alter diskgroup DATA add disk 'ORCL:VOL4' rebalance power 10; --在线增加磁盘的容量
SQL> ALTER DISKGROUP DATA1 REBALANCE POWER 1; --修改rebalance参数为默认值1
四、更改RAC的IP地址，这里不包括私网：
1、在grid用户下关闭监听，两个节点分别操作 >> lsnrctl stop
2、在一个节点的grid用户下关闭整个rac数据库 >> srvctl stop database -d cdsfc
3、关闭集群，root用户下，进入到grid/bin目录下 >> ./crsctl stop cluster -all 会停止所有节点的集群，如果只需关闭单个节点的集群，不加后面的all
4、备份OCR文件，也是在bin目录下 >> ./ocrconfig -export /temp/ocrexp.exp 恢复时把export改为 import就好
5、关闭CRS >> ./crsctl stop crs
6、更改/etc/hosts文件，注意只更改相应的IP，主机名不能更改，然后更改网卡，更改完成后重启网络，使新的IP生效。
7、开启CRS，开启CRS时会把相关的集群服务拉起来
8、手动更改rac节点的vip信息，分别在两个节点上使用root用户进入到grid/bin 目录下执行，由于需要更改scan-IP，所以需要 停止scan服务
查看scan-IP信息 >>./srvctl config scan
停止scan监听，必须停止该监听，否则下一步停止scan服务时会报错 >>./srvctl stop scan_listener
停止scan服务 >>./srvctl stop scan
查看scan服务状态 >>./srvctl status scan
查看当前vip信息 >> ./oifcfg getif
然后开始使用命令更改IP信息，由于rac更改IP需要更改ocr文件里的配置信息，所以需要使用以下命令更改：
节点一：其中红色部分需要更换为自己的IP信息，rac1为主机名 >> ./srvctl modify nodeapps -A 10.10.10.10/255.255.255.0/eth0 -n rac1
节点二：>> ./srvctl modify nodeapps -A 10.10.10.10/255.255.255.0/eth0 -n rac2
其中一个节点：>> ./srvctl modify scan -n 10.10.10.10
9、启动scan_listener，scan
启动scan服务 >> ./srvctl start scan
启动scan监听 >>./srvctl start scan_listener
完成后可用步骤8中的命令查看更改后的vip以及scan-IP信息，到此为rac更改IP的动作完成，需要注意的是上述步骤中没有更改私网的IP，且是同网段之间更改，如果需要更改私网IP或者是不同网段之间更换，需要在上述步骤8之前使用oifcfg修改网关，详情可参考https://blog.csdn.net/tianlesoftware/article/details/5362925。
