分析：

（1）09:40:18.629，第1节点发现与第2节点XXXXdb8(2)的心跳网络已经不相通;

（2）连续三次心跳失败后，第1节点认为第2节点已经出现故障，将第2节点从集群中移除;

（3）09:40:32.940重构了RAC，集群中只保留一个节点（第1节点）

（4）在此已经完全知道了是第2节点先出现问题了。

3、查看第2节点（XXXXdb8）的日志信息

3.1、第2节点（XXXXdb7）的OS messages：

Jul  1 09:39:59 XXXXdb8 shutdown[8014]: shutting down for system halt
Jul  1 09:40:00 XXXXdb8 pcscd: winscard.c:304:SCardConnect() Reader E-Gate 0 0 Not Found
Jul  1 09:40:02 XXXXdb8 smartd[10533]: smartd received signal 15: Terminated
Jul  1 09:40:02 XXXXdb8 smartd[10533]: smartd is exiting (exit status 0)
Jul  1 09:45:13 XXXXdb8 syslogd 1.4.1: restart.

分析：

（1）在09:39:59，2节点服务器被关机，到此为止，已经知道服务器被关机过了

（2）最需要引起注意的是，关闭服务器之前，服务器并没有报出任何与软、硬件相关的告警信息，说明软、硬件都是正常的

3.2、第2节点（XXXXdb）CRS Alert log：

2013-06-30 23:00:19.744
[ctssd(11038)]CRS-2409:The clock on host XXXXdb8 is not synchronous with the mean cluster time. No action has been taken as the Cluster Time Synchronization Service is running in observer mode.
2013-07-01 09:49:42.394
[ohasd(10803)]CRS-2112:The OLR service started on node XXXXdb8.

分析：

在9:49:42，CRS在二节点上被启动，在启动CRS之前，没有任何CRS关闭的LOG，也没有CRS相关的报错信息，这个问题就比较严重了，说明CRS不是被正常关闭的，很有可能是因为服务器被自动或人为强制重启的，才导致CRS根本就没有写CRS关闭的LOG

4、到此判断服务服务器被重启的原因应该只有三个（第2、3点在经分析后被排除）：

1、 人为重启了服务器

2、 服务器负载过高引起的2节点DOWN机或被1节点所驱逐所引起的DOWN机，这点经过仔细分析，发现2节点在09:39:59 就关机机了，而1节点在09:40:18 才发现与2节点网络心跳连接不通了，说明2节点并不是被1节点所驱逐而引发重启的，那是不是因为2节点的负载过高所引起的重启呢，经过分析2节点的CPU、IO、Memory负载一直很低、很平稳，所以这种应该不是致使服务器重启的困素

3、 网络故障引起的2节点被驱逐而重启，这个跟上面的分析一样，也是2节点在09:39:59 就关机机了，而1节点在09:40:18 才发现与2节点网络心跳连接不通了，所以也说明此因素不成立

惊喜发现：从NMON信息中发现了一个很有意思的问题，Eth1（心跳网络）正常，2节点的Eth2（对外提供服务的网络）在早上8：00整，流量全部降为0，Memory使用率开始全部释放出来，说明Public网络出问题了，但是没有断线

小结：服务器重启的原因很有可能是人为重启的了

5、验证是否存在人为重启服务器的现象

5.1、查看2节点服务器的历史命令，看是否有重启命令存在

  957  init 0
  958  su - grid
  959  su - oracle
  960  su - grid
  961  su - grid
  962  cd /u01/app/11.2.0/grid/bin
  963  ./crsctl start crs
  964  su - oracle

分析：在ROOT和户的最后命令里，确实有一条init 0关机命令，在关机命令后，跟着有CRS启动命令

到此，已经确定，服务器是被人为下命令关机的

三、人为关机原因的猜测

1、早上8：00 Public网络出现问题了，用户是无法连接上数据库的

2、早上9：39分，相关人员为了解决这个问题，就把服务器给关机了

3、服务器关机到重启，总共花费了 5 分钟

4、为了验证管理人员在验证网络的问题，看看1节点的最近历史命令，发现有人在1节点上在做ping 2节点的网络测试呢

  929  cat /etc/hosts
  930  ping 10.X.XX.80
  931  ping 10.X.XX.81
  932  ping 10.X.XX.82
  933  ping 10.X.XX.83
  934  su - oracle
  935  cd /home/
  936  ls
  937  su - grid
  938  ssh 10.1.146.33
  939  top
  940  free -m
  941  su - grid
  942  vmstat 1 01
  943  vmstat 1 10
  944  su - grid
  945  su - grid
  946  su - oracle
  947  su - oracle
  948  su - grid
  949  su - oracle
  950  su - grid
  951  cat /etc/hosts
  952  ping 10.X.XX.81
  953  ping 10.X.XX.83