存儲故障處理流程的演變及不同階段問題分析

存儲作為存放金融企業(yè)數(shù)據(jù)中心各類生產(chǎn)數(shù)據(jù)的重要載體，其日常的安全平穩(wěn)運行至關(guān)重要。特別是應(yīng)對若干存儲的大量告警，如何從大量告警中提取關(guān)鍵告警消息并及時處理異常，可謂對存儲平臺的穩(wěn)定運行起到保駕護航的作用。存儲告警處理作為常規(guī)工作，一方面需要在技術(shù)層面上及時發(fā)現(xiàn)告警并處理，另一方面還要在制度層面符合ITIL流程管理的規(guī)定。存儲告警中硬盤及電池的告警相對較多，此類告警出現(xiàn)時通常需要更換備件解決，且更換操作均屬于標準流程。因此，存儲硬件類告警的日常處理，如果兼顧流程、實際情況能納入自動化管理，對于工作效率的提升將十分明顯。下面分別介紹“傳統(tǒng)、目前、未來”三個階段在發(fā)現(xiàn)存儲故障、提交廠商信息報修、同步ITIL流程三個方面的具體情況，旨在幫助讀者更好地了解在自動化推進中各階段亟需解決的問題。一、傳統(tǒng)存儲故障處理流程1.發(fā)現(xiàn)存儲故障機房值班人員通過每天定期現(xiàn)場巡檢，借助存儲物理亮燈可以發(fā)現(xiàn)異常情況并告知存儲運維人員進行處理。由于人工巡檢頻率較低，發(fā)現(xiàn)異常相對比較滯后，且存在漏檢可能。為了能及時發(fā)現(xiàn)存儲設(shè)備存在的告警，早期通過在各存儲管理平臺配置SNMPTrap，將告警信息由運行監(jiān)控中心發(fā)送給存儲運維人員。這類告警即時性相當高，有效輔助運維人員在第一時間發(fā)現(xiàn)設(shè)備異常，但告警消息數(shù)目較多且缺乏過濾及壓縮，也給運維人員的日常工作帶來了一定的困擾。2.提交廠商日志確認并安排維修SNMPTrap類告警消息因缺少設(shè)備序列號、機柜位置、部件位置、部件規(guī)格等明確信息，無法直接轉(zhuǎn)發(fā)給廠商工程師進行設(shè)備報修，一般需要單獨收集相關(guān)日志發(fā)送給廠商進一步分析，或者需要運維人員通過命令行或GUI等工具反饋具體信息給廠商。設(shè)備報修要求出具相關(guān)部件的準確信息，而基于一定規(guī)則定制的告警消息無疑將使報修流程化繁為簡，在日常運維中將節(jié)省大量的時間。3.納入ITIL流程存儲硬件更換在制度上納入ITIL流程變更管理，通常需要由存儲運維人員在ITIL管理平臺申請事件工單和變更工單。運維人員梳理設(shè)備告警情況，并跟廠商確認好部件更換工作，先在ITIL管理平臺中提出事件工單，然后關(guān)聯(lián)此事件工單創(chuàng)建變更工單。事件工單經(jīng)服務(wù)臺確認后需要運維人員反饋事件原因和解決方案。變更工單經(jīng)變更經(jīng)理審核后需運維人員制定方案，并依次經(jīng)變更經(jīng)理、室經(jīng)理、分管負責人審批后方能實施。變更實施完成后，運維人員還需要在事件工單和變更工單中說明變更時間和實施情況，如圖1所示。圖1傳統(tǒng)階段存儲故障處理流程示意圖二、目前存儲故障處理流程1.發(fā)現(xiàn)存儲故障引入硬件監(jiān)控平臺，按照一定的時段輪詢獲取各品牌型號存儲的告警信息。此類告警較Trap而言即時性相對較差，但采用了一定的規(guī)則過濾出等級較高的信息進行推送。告警消息少而精，便于定制，能更好地滿足運維人員的日常管理要求。例如，針對重復的告警，可以采用壓縮算法，通?？梢?小時報一次，直到問題解決。針對info、warning等較低級別的告警可以實現(xiàn)過濾，而只給運維人員推送error和critical等較高級別的告警。2.提交廠商關(guān)鍵信息并派件維修借助硬件監(jiān)控平臺的廣泛使用，設(shè)備告警消息通過運行監(jiān)控中心按一定規(guī)則拼接后可以發(fā)送給運維人員。對于絕大多數(shù)情況，運維人員無需再登陸系統(tǒng)進行二次確認，直接可將告警消息轉(zhuǎn)發(fā)給廠商人員即可安排派件維修。3.納入ITIL流程同傳統(tǒng)階段，運維人員仍需在日常工作中消耗一定的時間和精力來申請事件及變更工單并跟進流轉(zhuǎn)。如圖2所示。圖2目前階段存儲故障處理流程示意圖三、未來存儲故障處理流程前兩個階段在變更實施和ITIL流程管理上，兩條線相對獨立尚未進行融合，這與自動化運維管理仍有一定的差距。為進一步優(yōu)化日常存儲告警的處理工作，未來應(yīng)著力于在ITIL流程中實現(xiàn)工單中模板化的東西由系統(tǒng)推送，并根據(jù)監(jiān)控平臺推送的恢復告警來自動反饋工單的解決方案和實施情況等信息。1.發(fā)現(xiàn)存儲故障和判斷故障恢復目前硬件監(jiān)控平臺只能抓取設(shè)備的異常告警，對于故障修復后未能生成恢復類告警，需要人工參與判斷是否完成故障修復。若監(jiān)控平臺對于特定設(shè)備能及時判斷故障是否修復并生成恢復告警，則有益于推進ITIL流程的自動化管理，極大減少人工參與環(huán)節(jié)。2.提交廠商關(guān)鍵信息并派件維修此部分盡可能針對不同品牌型號的存儲及不同部件，進一步細化告警信息，從而實現(xiàn)告警消息轉(zhuǎn)發(fā)后的正常派件維修即可。3.ITIL流程自動化審批硬件監(jiān)控平臺將收集到的異常告警及時推送至智能平臺。智能平臺加工整合收集到的異常告警，識別出常見的壞件告警（例如硬盤、電池告警），并基于選定的時間范圍，按照既定的模板向ITIL管理平臺提交事件工單和變更工單申請。變更工單經(jīng)變更經(jīng)理審核確認后，由智能平臺提供模板完成方案制定環(huán)節(jié)的提交。ITIL管理平臺在事件工單經(jīng)服務(wù)臺審批后發(fā)送給智能平臺處理，并將變更工單實施環(huán)節(jié)發(fā)送至智能平臺進行處理。后續(xù)由硬件監(jiān)控平臺捕捉設(shè)備告警是否修復，如正常完成修復，向智能平臺及時推送恢復告警消息。智能平臺最終基于恢復告警消息，向ITIL管理平臺反饋實施情況從而關(guān)閉相關(guān)工單。顯然，智能平臺承擔了運維人員ITIL流程管理相關(guān)的工作，其對監(jiān)控告警的識別和整合發(fā)揮著不可替代的作用。如圖3所示。圖3未來階段存儲故障處理流程示意圖綜上所述，為了提升存儲告警處理的自動化運維管理水平，一