2023數(shù)據(jù)中心基礎(chǔ)設(shè)施故障處理方案

數(shù)據(jù)中心基礎(chǔ)設(shè)施故障處理方案PAGEPAGE10目錄總覽 3故障分級(jí) 4故障通報(bào) 6故障處理 9故障記錄與分析 11一、總覽數(shù)據(jù)中心基礎(chǔ)設(shè)施運(yùn)維的一個(gè)重要目標(biāo)就是減少故障的發(fā)生，從而保障數(shù)據(jù)中心的可用性。但故障總是無法完全避免的，尤其是在數(shù)據(jù)中心剛投入運(yùn)行以及生命周期的后期，設(shè)備故障率往往會(huì)比較高。故障處理是否得當(dāng)，是否及時(shí)，直接關(guān)系到數(shù)據(jù)中心高可用性的實(shí)現(xiàn)。故障的來源通常有如下四種：監(jiān)控系統(tǒng)發(fā)現(xiàn)的、巡檢（停電等）。但不管故障的來源是哪一個(gè)方面，對(duì)故障的處理都必須做好故障的風(fēng)險(xiǎn)分級(jí)、故障通報(bào)、故障處理以及最后的故障分析與統(tǒng)計(jì)工作。二、故障分級(jí)描述者遷移流量。運(yùn)維難點(diǎn)依據(jù)什么原則對(duì)數(shù)據(jù)中心的故障進(jìn)行分級(jí)？廠家提供的動(dòng)環(huán)系統(tǒng)、電力監(jiān)控、冷水自控系統(tǒng)等往往只是根據(jù)設(shè)備的重要性對(duì)告警進(jìn)行分級(jí)，而數(shù)據(jù)中心故障的分級(jí)必須考慮到整個(gè)數(shù)據(jù)中心設(shè)備配置的冗余情況、特別是特定故障對(duì)業(yè)務(wù)的影響情況，然后通過恰當(dāng)?shù)墓收戏旨?jí)來指導(dǎo)整個(gè)故障的處理，所以故障分級(jí)可以說是故障處理的第一道關(guān)口。最佳實(shí)踐故障的分級(jí)可以根據(jù)故障對(duì)數(shù)據(jù)中心的影響范圍和影響程度來進(jìn)行判斷。通常分為三級(jí)即可，太多的故障等級(jí)并不能對(duì)運(yùn)維工作帶來收益，反而會(huì)帶來故障處理方面的困惑。園區(qū)，所以屬于一級(jí)故障；但需要注意的是二級(jí)故障有升級(jí)一級(jí)故障的可能；如某臺(tái)空調(diào)的風(fēng)機(jī)告警；為了讓運(yùn)維同學(xué)能夠快速識(shí)別重要故障，對(duì)常見的一級(jí)、二級(jí)故障，機(jī)房需要根據(jù)自己的實(shí)際情況建立常見故障分級(jí)表，并定期更新和培訓(xùn)。案例賞析為了規(guī)范機(jī)房的故障處理流程，某互聯(lián)網(wǎng)公司制訂了《XX規(guī)定、并對(duì)常見故障的等級(jí)劃分進(jìn)行了總結(jié)。文稿樣例以下是一個(gè)故障分級(jí)表的樣例，內(nèi)容并不完全，用戶需要根據(jù)自己的實(shí)際情況進(jìn)行補(bǔ)充：機(jī)房名稱故障等級(jí)故障名稱XX數(shù)據(jù)中心一級(jí)故障高壓雙路市電斷電XX數(shù)據(jù)中心一級(jí)故障列頭柜雙路斷電XX數(shù)據(jù)中心二級(jí)故障高壓?jiǎn)温肥须姅嚯奨X數(shù)據(jù)中心二級(jí)故障列頭柜單路斷電XX數(shù)據(jù)中心二級(jí)故障同一UPS組內(nèi)1臺(tái)主機(jī)故障三、故障通報(bào)描述不同的故障對(duì)數(shù)據(jù)中心和業(yè)務(wù)的正常運(yùn)營(yíng)，所造成的制定故障應(yīng)對(duì)策略，以及爭(zhēng)取故障處理所需資源，運(yùn)營(yíng)人員在故障發(fā)生后需要第一時(shí)間將故障信息和情況進(jìn)行通告，同時(shí)在故障有更新或者關(guān)閉時(shí)也需要及時(shí)將信息同步到相關(guān)人員。運(yùn)維難點(diǎn)的頻率？能及時(shí)通知到相關(guān)人員？如何定義故障通知的內(nèi)容？速進(jìn)行信息同步？最佳實(shí)踐每半小時(shí)更新一次。選取響應(yīng)的組別進(jìn)行通知。故障通知的內(nèi)容需要至少覆蓋如下的內(nèi)容：故障名稱故障等級(jí)故障發(fā)送時(shí)間故障描述故障預(yù)計(jì)維修時(shí)間影響范圍不同的故障采用不同的通知方式已確保相關(guān)人員能夠及時(shí)收到信息，主要包括郵件、短信、微信、4證故障通知到人。對(duì)于一級(jí)故障，建議通過電話的和同步。案例賞析為了規(guī)范機(jī)房的故障通報(bào)的內(nèi)容，通知時(shí)間等，某互XX里定義了詳細(xì)的故障通報(bào)模板，對(duì)不同等級(jí)的故障通報(bào)范圍郵件組，通報(bào)時(shí)間要求等都做出了詳細(xì)規(guī)定。文稿樣例以下是一個(gè)故障通報(bào)模板的樣例。事件類型故障等級(jí)故障/告警發(fā)生時(shí)間故障描述故障影響范圍故障設(shè)備維修時(shí)間故障處理時(shí)間操作內(nèi)容描述四、故障處理描述故障發(fā)生后，在對(duì)故障進(jìn)行通報(bào)的同時(shí)，還需要及時(shí)對(duì)故障進(jìn)行處理，對(duì)相關(guān)的設(shè)備進(jìn)行維修，避免故障影響范圍擴(kuò)大。在設(shè)備進(jìn)行維修前還需要對(duì)維修方案進(jìn)行評(píng)估，確認(rèn)方案的可行性，避免維修時(shí)對(duì)其他設(shè)備造成影響。同時(shí)在故障設(shè)備維修過程中，需要記錄維修的各項(xiàng)信息，作為后續(xù)故障回顧資料。運(yùn)維難點(diǎn)如何快速處理故障，避免故障影響范圍擴(kuò)大？不被遺漏。最佳實(shí)踐快速處理故障為了快速的處理故障，首先需要定義好故障的處理流程，定義常見故障的應(yīng)急預(yù)案EOP，并按年度制定好應(yīng)急演練計(jì)劃并按計(jì)劃進(jìn)行演練，使得運(yùn)維人員能夠熟悉常見故障的處理方式。需要特別關(guān)注關(guān)鍵設(shè)備的備件準(zhǔn)備情況，有條件的需要備份到數(shù)據(jù)中心本地，對(duì)于不方便存儲(chǔ)到本地的備件，需要廠家保證備件送達(dá)時(shí)間，并確保備件儲(chǔ)存在就近倉庫?？刂乒收嫌绊懛秶ａ槍?duì)故障的實(shí)際情況，需要制定詳細(xì)的應(yīng)急預(yù)案。明確操作步驟、配合方式、風(fēng)險(xiǎn)評(píng)估等，避免誤操作造成二次故障。及時(shí)通報(bào)到業(yè)務(wù)部門，技術(shù)允許的情況下，將業(yè)務(wù)進(jìn)行遷移和切走流量。故障的記錄。故障的處理過程，用電子化的平臺(tái)來進(jìn)行跟蹤，故障的總結(jié)和記錄作為故障處理流程的一個(gè)部分，必須提交后才能進(jìn)行事件的閉環(huán)。這樣可以保證對(duì)故障的記錄成為故障處理的一個(gè)必要環(huán)節(jié)。案例賞析為了規(guī)范機(jī)房的故障處理流程，某互聯(lián)網(wǎng)公司制訂了《XX自建機(jī)房故障處理流程》對(duì)不同級(jí)別的故障，利用流程框圖的方式進(jìn)行規(guī)定，并指明了各級(jí)節(jié)點(diǎn)的主要負(fù)責(zé)人。文稿樣例以下是一個(gè)重要故障的典型處理流程。圖1重要故障處理流程圖示例備品備件的管理、應(yīng)急預(yù)案EOP電子化平臺(tái)等，請(qǐng)見項(xiàng)目組后續(xù)發(fā)布的相關(guān)專題，這里不做詳述。五、故障記錄與分析描述數(shù)據(jù)中心日常的故障多種多樣，引發(fā)的原因也五花八門，為避免同樣的故障再次發(fā)生，或者同樣的故障發(fā)生時(shí)能夠快速的處理，運(yùn)營(yíng)人員需要對(duì)每次的故障進(jìn)行分析、統(tǒng)計(jì)、匯總，從中找出常見的故障類型、故障原因、故障處理方法，并在日常運(yùn)營(yíng)工作中加以關(guān)注。每一次故障的處理都是一次總結(jié)學(xué)習(xí)和提升的機(jī)會(huì)，通過對(duì)歷史的故障的學(xué)習(xí)和積累，可以幫助我們積累知識(shí)庫，做好數(shù)據(jù)中心的故障處理工作。運(yùn)維難點(diǎn)如何做好故障記錄良好的故障記錄會(huì)使數(shù)據(jù)中心運(yùn)營(yíng)工作獲益匪淺，比如：在下次故障時(shí)，可以快速的查看以往的經(jīng)驗(yàn)。選型依據(jù)。了解設(shè)備的故障歷史，針對(duì)性的安排維保計(jì)劃。但是如何做好故障記錄，利用什么工具來記錄是運(yùn)維人員面臨的一個(gè)難點(diǎn)。復(fù)發(fā)生其他公司已經(jīng)發(fā)生的故障和問題。最佳實(shí)踐現(xiàn)在大部分?jǐn)?shù)據(jù)中心的故障統(tǒng)計(jì)，往往還是采用EXCELIT運(yùn)維團(tuán)隊(duì)安排專人定期收集業(yè)內(nèi)發(fā)生的重大故障析學(xué)習(xí)。案例賞析目前國內(nèi)做到故障從前期錄入、派單處理一直到最后的故障記錄和分析，完全在一體化平臺(tái)上形成閉環(huán)管理的企業(yè)還比較少。通