信息中心事故報(bào)告

1、_內(nèi)部資料注意保存XXXX信息中心信息系統(tǒng)事故報(bào)告第 1 期信息中心二一二年九月三日關(guān)于 8 月 20、22 日統(tǒng)一工作平臺(tái)事故報(bào)告統(tǒng)一工作平臺(tái)分別于2012年 8月20日上午、 8月 22日下午出現(xiàn)兩次不能登錄的系統(tǒng)故障，故障持續(xù)時(shí)間分別為76分鐘和 27分鐘。 現(xiàn)將故障的原因及解決方案報(bào)告如下：一、故障描述2012年 8月 20日 8:52 分至 10:08 分，共 76分鐘，統(tǒng)一工作平臺(tái)無法登錄，登錄頁面不能打開。2012年 8月 22日14:38 分至 15:05 分，共 27分鐘，統(tǒng)一工作平臺(tái)無法登錄，登錄頁面不能打開。二、故障分析兩次故障發(fā)生的原因是由于數(shù)據(jù)庫服務(wù)器操作系統(tǒng)內(nèi)存耗盡

2、導(dǎo)致 。引起內(nèi)存耗盡的原因是因?yàn)樵?012年8月15日晚為了數(shù)據(jù)庫ORA-4030 的報(bào)錯(cuò)調(diào)整了統(tǒng)一工作平臺(tái)數(shù)據(jù)庫內(nèi)存參數(shù)， 讓數(shù)據(jù)庫進(jìn)程可使用的內(nèi)存增加了14GB，但服務(wù)器的物理內(nèi)存沒有增加。此參數(shù)調(diào)整在評(píng)估時(shí)未能考慮到ORACLE數(shù)據(jù)庫 11.2 版本存在 bug 10190759 ，該 Bug 會(huì)導(dǎo)致精品資料_數(shù)據(jù)庫部分進(jìn)程在繁忙時(shí)內(nèi)存的占用是正常值的兩倍以上。因此當(dāng) 8 月 20 日上午、 8 月 22 日下午數(shù)據(jù)庫因業(yè)務(wù)量增加而繁忙時(shí)，出現(xiàn)數(shù)據(jù)庫所需要的內(nèi)存超過服務(wù)器具有的物理內(nèi)存，而引起內(nèi)存耗盡，導(dǎo)致應(yīng)用不可用。另， 2012 年 8 月 20 日在數(shù)據(jù)庫出現(xiàn)故障時(shí)，統(tǒng)一工作平臺(tái)的應(yīng)用服務(wù)同時(shí)出現(xiàn)了WebSphere Deploy Manager(DM)的服務(wù)功能異常的情況，該異常以前沒有出現(xiàn)過，導(dǎo)致分析和解決故障的時(shí)間較長。三、解決方案解決的措施是給統(tǒng)一工作平臺(tái)數(shù)據(jù)庫服務(wù)器增加了14GB物理內(nèi)存 ，使服務(wù)器物理內(nèi)存從56GB擴(kuò)展到 70GB，解決了數(shù)據(jù)庫連接失敗的問題，目前數(shù)據(jù)庫服務(wù)器主機(jī)的內(nèi)存使用率和數(shù)據(jù)庫連接正常。四、改進(jìn)措施1、后續(xù)數(shù)據(jù)庫參數(shù)在調(diào)整前應(yīng)充分討論。2、加強(qiáng)監(jiān)控告警，完善相關(guān)告警措施。3、提高統(tǒng)一工作平臺(tái)系統(tǒng)管理員的維護(hù)技能，如遇到服務(wù)不能正常啟動(dòng)時(shí)，應(yīng)將所有服務(wù)都先停止，然后再啟