近期某客户反映其核心业务系统部分页面运行缓慢,,生产数据库(双节点rac环境)出现异常,登录boss数据库检查,发现数据库运行较慢,检查锁表情况发现大量锁表, 然后登录到数据库一节点服务器发现服务器运行缓慢,运行top发现系统资源已消耗殆尽,截图如下:
登录数据库二节点服务器运行正常,可判断故障点在数据库rac双机一节点上。服务器上sqlplus登录oracle正常,未发现明显异常。查看oracle告警日志发现如下报错信息:
经过查询oracle 官方网站mos(详见id 1252265.1 ora-27300 ora-27301 ora-27302: failure occurred at: skgpalive1)发现命中oracle bug 10010310:
ora-27300,ora-27301,ora-27302事实上有很多报错原因,主要是数据库和操作系统交互时引起的报错,大部分为 bug,上述报错是由于bug 10010310引起的,所幸的是,oracle在不同的版本上发布了针对这一bug的补丁,其大小为130kb左右:
补丁资料查询如下:
此oracle bug一旦触发只能重新启动数据库实例,别无其他补救处理办法,数据库一节点上的实例一重启完成后,操作系统负载恢复正常范围,核心系统恢复正常。
本文永久更新链接地址:
