大型銀行網(wǎng)絡(luò)運(yùn)維自動(dòng)化思路與實(shí)踐 附商業(yè)銀行數(shù)據(jù)中心自動(dòng)化運(yùn)維平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

隨著金融科技發(fā)展的不斷變革，金融行業(yè)的網(wǎng)絡(luò)整體規(guī)劃和建設(shè)思路也在不斷追趕新時(shí)代銀行業(yè)務(wù)的發(fā)展需要。網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)應(yīng)用技術(shù)的不斷提升，都對(duì)大型銀行網(wǎng)絡(luò)的日常運(yùn)維提出了更多的挑戰(zhàn)。跟緊銀行業(yè)數(shù)字化轉(zhuǎn)型以及金融科技一體化運(yùn)維大潮，網(wǎng)絡(luò)運(yùn)維（NetOps）正在著力于引入最新的統(tǒng)一化、規(guī)范化、自動(dòng)化運(yùn)維技術(shù)，用于更好的保障金融科技系統(tǒng)的穩(wěn)定運(yùn)行。銀行作為對(duì)IT系統(tǒng)高可用性要求極高的金融機(jī)構(gòu)，對(duì)網(wǎng)絡(luò)架構(gòu)的可用性、可靠性等方面提出了更多的挑戰(zhàn)。大型金融網(wǎng)絡(luò)運(yùn)維，涉及到資產(chǎn)管理、容量管理、性能管理、變更管理、應(yīng)急保障等多方面的管理需求，都占用了大量的運(yùn)維資源和人力成本。如何讓運(yùn)維人員將有限的精力專注于更有意義及挑戰(zhàn)性的工作中，是網(wǎng)絡(luò)運(yùn)維自動(dòng)化一貫堅(jiān)持的思路和方向。作為網(wǎng)絡(luò)自動(dòng)化建設(shè)的實(shí)踐者，我們?cè)诿髦胁粩嗲斑M(jìn)，從以下幾個(gè)方面的進(jìn)行了實(shí)踐。化繁為簡(jiǎn)，構(gòu)建統(tǒng)一的網(wǎng)絡(luò)資產(chǎn)數(shù)據(jù)池在網(wǎng)絡(luò)資產(chǎn)的管理方面，開展網(wǎng)絡(luò)資產(chǎn)的數(shù)據(jù)標(biāo)準(zhǔn)化工作，以統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)整體網(wǎng)絡(luò)資產(chǎn)的管理。其目標(biāo)是實(shí)現(xiàn)對(duì)整體網(wǎng)絡(luò)資產(chǎn)的梳理和調(diào)用，避免出現(xiàn)資產(chǎn)信息在不同運(yùn)維系統(tǒng)中數(shù)據(jù)的差異，造成網(wǎng)絡(luò)運(yùn)維過程中信息不一致、數(shù)據(jù)不統(tǒng)一等問題。針對(duì)網(wǎng)絡(luò)設(shè)備資產(chǎn)，開展統(tǒng)一的設(shè)備監(jiān)控管理成熟度模型建設(shè)，針對(duì)不同功能類型、部署區(qū)域、使用場(chǎng)景的網(wǎng)絡(luò)設(shè)備，按照運(yùn)行監(jiān)控、網(wǎng)絡(luò)連通、服務(wù)管理三個(gè)維度計(jì)算其管理成熟度評(píng)分及監(jiān)控定級(jí)，最終實(shí)現(xiàn)設(shè)備的標(biāo)準(zhǔn)化監(jiān)控配置和全生命周期的資產(chǎn)數(shù)據(jù)管理。解決了網(wǎng)絡(luò)設(shè)備在日常運(yùn)維過程中出現(xiàn)“脫管”或"半脫管'’的問題，并提升了不同網(wǎng)絡(luò)運(yùn)維系統(tǒng)對(duì)網(wǎng)絡(luò)設(shè)備資產(chǎn)的數(shù)據(jù)交互及監(jiān)控管理需求。對(duì)于網(wǎng)絡(luò)線路資產(chǎn)，采取統(tǒng)一的線路資產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)化管理，實(shí)現(xiàn)線路資產(chǎn)與設(shè)備、應(yīng)用信息的關(guān)聯(lián)互通，提升在網(wǎng)絡(luò)運(yùn)維過程中相關(guān)信息傳遞的一致性及準(zhǔn)確性。對(duì)于配置及參數(shù)資產(chǎn)，采取智能化分布式的配置參數(shù)采集及管理機(jī)制，在保證網(wǎng)絡(luò)配置及參數(shù)的數(shù)據(jù)安全性同時(shí)，乂實(shí)現(xiàn)了網(wǎng)絡(luò)配置動(dòng)態(tài)對(duì)比及關(guān)聯(lián)分析的功能，提升了以“靜響“動(dòng)”的運(yùn)維監(jiān)控能力。針對(duì)網(wǎng)絡(luò)邏輯資產(chǎn)，開展統(tǒng)一的網(wǎng)絡(luò)CMDB信息采集及更新機(jī)制。通過對(duì)不同類型的網(wǎng)絡(luò)設(shè)備進(jìn)行適配，采取SNMP,命令行登陸，接口登陸等方式，獲取相關(guān)網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)信息，將相關(guān)信息通過統(tǒng)一的規(guī)則進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)對(duì)整體銀行網(wǎng)絡(luò)內(nèi)IP、ARP、MAC接口數(shù)據(jù)，訪問控制信息，應(yīng)用系統(tǒng)信息，網(wǎng)絡(luò)地址及性能容量、設(shè)備資產(chǎn)配置容量、機(jī)房布線容量信息的大集中，實(shí)現(xiàn)了對(duì)整體網(wǎng)絡(luò)資產(chǎn)情況的一手掌握。破釜沉舟，打造網(wǎng)絡(luò)變更的“人工+智能”銀行網(wǎng)絡(luò)的特點(diǎn)就是安全運(yùn)維顆粒度及精細(xì)度程度高。在最小化嚴(yán)格化控制架構(gòu)下，運(yùn)維過程中網(wǎng)絡(luò)人員將面對(duì)每日數(shù)以百計(jì)的網(wǎng)絡(luò)變更及調(diào)整，相關(guān)的變更從正常的變更投產(chǎn)、測(cè)試開發(fā)到最普遍的用戶域訪問控制，都需要投入大量的人力進(jìn)行變更內(nèi)容的評(píng)審和準(zhǔn)備。在安全合規(guī)的前提下，將運(yùn)維人員從整體的變更流程及變更內(nèi)容的準(zhǔn)備中解脫出來，是變更自動(dòng)化急需實(shí)現(xiàn)的目標(biāo)。在變更流程的優(yōu)化方面，我們嘗試打破跨系統(tǒng)間的技術(shù)壁壘，潤(rùn)滑整合流程平臺(tái)與運(yùn)維平臺(tái)之間的信息傳遞機(jī)制，將變更整體的申請(qǐng)、審核、分配、實(shí)施、復(fù)核的全周期流程進(jìn)行串聯(lián)，結(jié)合變更內(nèi)容與網(wǎng)絡(luò)資產(chǎn)數(shù)據(jù)的關(guān)聯(lián)分析，實(shí)現(xiàn)變更內(nèi)容的自動(dòng)化解析和數(shù)據(jù)生成。運(yùn)維人員在一個(gè)頁(yè)面中可以完成整體變更流程的流轉(zhuǎn)，以及變更內(nèi)容的智能分析及腳本自動(dòng)化生成工作。對(duì)于涉及重要生產(chǎn)網(wǎng)絡(luò)區(qū)域的標(biāo)準(zhǔn)變更內(nèi)容，通過自動(dòng)化的方式實(shí)現(xiàn)對(duì)變更腳本的生成，運(yùn)維人員僅需對(duì)自動(dòng)化腳本進(jìn)行審核，并通過相關(guān)的合規(guī)審計(jì)渠道進(jìn)行變更內(nèi)容的下發(fā)即可完成變更實(shí)施工作。對(duì)于開發(fā)測(cè)試、用戶接入等非生產(chǎn)網(wǎng)絡(luò)區(qū)域的變更，可通過自動(dòng)化變更審核后即實(shí)施下發(fā)的方式實(shí)現(xiàn)，既提高了網(wǎng)絡(luò)變更流轉(zhuǎn)的效率，也降低的網(wǎng)絡(luò)運(yùn)維人員重復(fù)性工作的強(qiáng)度。此外，為了滿足多活多中心應(yīng)用系統(tǒng)架構(gòu)部署的網(wǎng)絡(luò)訪問需求，我們完善了跨數(shù)據(jù)中心的網(wǎng)絡(luò)變更一體化流程實(shí)現(xiàn)，通過系統(tǒng)CMDB智能判斷，系統(tǒng)開發(fā)及運(yùn)維人員無(wú)需知道對(duì)應(yīng)地址的所屬數(shù)據(jù)中心區(qū)域，即可實(shí)現(xiàn)一次申請(qǐng)，多地開通的網(wǎng)絡(luò)變更自動(dòng)化，提升了整體網(wǎng)絡(luò)自服務(wù)的能力和水平。在變更的合規(guī)審計(jì)方面，通過實(shí)現(xiàn)對(duì)整體變更數(shù)據(jù)的標(biāo)準(zhǔn)化解析和智能化分析，在日常的運(yùn)維過程中可快速回溯相關(guān)變更內(nèi)容及數(shù)據(jù)，以及對(duì)應(yīng)網(wǎng)絡(luò)設(shè)備策略的命中情況，提高運(yùn)維人員的問題分析和定位排障效率，加速整體事件處理的效率和效力，為網(wǎng)絡(luò)安全生產(chǎn)保駕護(hù)航。擁抱多元，提升網(wǎng)絡(luò)運(yùn)維監(jiān)管控思路隨著網(wǎng)絡(luò)規(guī)模及架構(gòu)技術(shù)復(fù)雜度不斷提升，傳統(tǒng)的網(wǎng)絡(luò)監(jiān)控模式已無(wú)法滿足海量的日志處理及高并發(fā)的設(shè)備數(shù)據(jù)采集需求。在事件分析及定位方面，快速交付運(yùn)維人員相關(guān)的設(shè)備告警日志、性能數(shù)據(jù)趨勢(shì)、歷史關(guān)聯(lián)信息，以及實(shí)現(xiàn)網(wǎng)絡(luò)告警信息與其他專業(yè)條線告警信息的關(guān)聯(lián)整合，是新時(shí)代網(wǎng)絡(luò)運(yùn)維的里程碑。在信息的采集方面，擁抱業(yè)界開源的運(yùn)維監(jiān)控手段，一方面實(shí)現(xiàn)了分布網(wǎng)絡(luò)設(shè)備信息的高頻采集，通過結(jié)合主流的網(wǎng)絡(luò)運(yùn)維監(jiān)控算法，形成智能的網(wǎng)絡(luò)監(jiān)控定義，實(shí)現(xiàn)了對(duì)整體網(wǎng)絡(luò)架構(gòu)及設(shè)備運(yùn)行狀態(tài)的實(shí)時(shí)信息采集及感知。此外，利用主流高并發(fā)流處理技術(shù)，實(shí)現(xiàn)對(duì)海量網(wǎng)絡(luò)設(shè)備日志的智能解析及關(guān)聯(lián)分析，提升了整體網(wǎng)絡(luò)監(jiān)控的處理及分析能力。另一方面，加強(qiáng)旁路監(jiān)控的運(yùn)維輔助能力，通過使用多點(diǎn)部署全流量采集探針的方式，形成整個(gè)網(wǎng)絡(luò)通信線路的多段網(wǎng)絡(luò)流量分析鏈，幫助運(yùn)維人員從多個(gè)維度實(shí)現(xiàn)對(duì)相應(yīng)告警的智能分析，解決傳統(tǒng)運(yùn)維監(jiān)控中關(guān)聯(lián)數(shù)據(jù)缺失，輔助排障信息不足的問題。在監(jiān)控的監(jiān)控展示方面，通過使用統(tǒng)一的運(yùn)維監(jiān)控平臺(tái)，實(shí)現(xiàn)了多運(yùn)維條線的CMDB數(shù)據(jù)上收及整合，解決了一鍵獲取告警及關(guān)聯(lián)數(shù)據(jù)信息，跨運(yùn)維部門間監(jiān)控告警關(guān)聯(lián)分析，應(yīng)用信息與網(wǎng)絡(luò)數(shù)據(jù)對(duì)接等問題。在運(yùn)維監(jiān)控的輔助方面，結(jié)合實(shí)際的網(wǎng)絡(luò)運(yùn)維場(chǎng)景，實(shí)現(xiàn)了網(wǎng)絡(luò)狀態(tài)比對(duì)、歷史數(shù)據(jù)分析、快速配置及參數(shù)對(duì)比、一鍵問題設(shè)備隔離等操作運(yùn)維場(chǎng)景的自動(dòng)化落地，幫助運(yùn)維人員在監(jiān)控中更快的實(shí)現(xiàn)問題的定位及處置。此外，面對(duì)疫情及其他極端運(yùn)維情況，我們嘗試性的開展了現(xiàn)場(chǎng)運(yùn)維監(jiān)控+移動(dòng)運(yùn)維輔助+遠(yuǎn)程運(yùn)維支撐的運(yùn)維管理模式，在遇到復(fù)雜問題時(shí)，通過群策群力的方式，幫助相關(guān)值班人員迅速進(jìn)行問題的分析和定位，并協(xié)助其進(jìn)行整體的故障排除及處置。緊跟時(shí)代，提升智能網(wǎng)絡(luò)自服務(wù)能力隨著網(wǎng)絡(luò)技術(shù)的不斷演進(jìn)，數(shù)據(jù)中心級(jí)SDN技術(shù)及廣域網(wǎng)SRv6技術(shù)已逐步在銀行網(wǎng)絡(luò)架構(gòu)中落地。在不斷提升網(wǎng)絡(luò)自身的健壯性及技術(shù)能力的同時(shí)，實(shí)現(xiàn)網(wǎng)絡(luò)新技術(shù)與其他系統(tǒng)及應(yīng)用技術(shù)的融合，是新的智能網(wǎng)絡(luò)管理的機(jī)遇和挑戰(zhàn)。在基礎(chǔ)服務(wù)交付方面，數(shù)據(jù)中心層面實(shí)現(xiàn)新SDN架構(gòu)的落地既實(shí)現(xiàn)了對(duì)整體網(wǎng)絡(luò)資源的整合及虛擬化支撐，也實(shí)現(xiàn)了對(duì)大型銀行網(wǎng)絡(luò)架構(gòu)下傳統(tǒng)系統(tǒng)及云平臺(tái)的平滑支撐。在廣域網(wǎng)絡(luò)上，通過實(shí)現(xiàn)了更先進(jìn)的分段路由(SegmenlRouting)能力，從技術(shù)上達(dá)成了基于應(yīng)用系統(tǒng)層面的網(wǎng)絡(luò)通信及災(zāi)備保障，進(jìn)一步提升了總、分行之間的網(wǎng)絡(luò)傳輸調(diào)度及應(yīng)急能力。在應(yīng)用系統(tǒng)支撐方面，進(jìn)一步實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)應(yīng)用開發(fā)的友好性。跳出網(wǎng)絡(luò)看網(wǎng)絡(luò)，即站在應(yīng)用系統(tǒng)的視角來提升網(wǎng)絡(luò)對(duì)應(yīng)用支撐的能力，通過網(wǎng)絡(luò)的智能化服務(wù)能力，幫助應(yīng)用系統(tǒng)在日常運(yùn)行過程中發(fā)現(xiàn)可能存在的問題，最大化的規(guī)避系統(tǒng)運(yùn)行中可能存在的不穩(wěn)定因素，提升網(wǎng)絡(luò)網(wǎng)絡(luò)智能自服務(wù)能力。此外，在不斷完善網(wǎng)絡(luò)自己的運(yùn)維體系建設(shè)的同時(shí)，我們已經(jīng)開展了基于應(yīng)用的網(wǎng)絡(luò)流量智能調(diào)度，基于流量的應(yīng)用交易關(guān)聯(lián)分析?，重要網(wǎng)絡(luò)服務(wù)的分布式網(wǎng)絡(luò)資源分配和監(jiān)控，網(wǎng)絡(luò)安全全自動(dòng)智能封禁，網(wǎng)絡(luò)運(yùn)維的集中API平臺(tái)等方面的建設(shè)，并正在嘗試開展系統(tǒng)網(wǎng)絡(luò)的一體化運(yùn)維提升建設(shè)，實(shí)現(xiàn)用網(wǎng)絡(luò)而不見網(wǎng)絡(luò)，真正做到用網(wǎng)絡(luò)服務(wù)的“大象無(wú)形”。每一代網(wǎng)絡(luò)有每一代網(wǎng)絡(luò)的長(zhǎng)征路，當(dāng)今的網(wǎng)絡(luò)運(yùn)維思維已隨著日新月異的IT技術(shù)而不斷更新迭代。大型銀行作為IT技術(shù)的“重度依賴”機(jī)構(gòu)，早已站在了金融科技轉(zhuǎn)型的風(fēng)口浪尖。在保障網(wǎng)絡(luò)基礎(chǔ)架構(gòu)穩(wěn)定性的關(guān)鍵性能指標(biāo)的同時(shí)，通過網(wǎng)絡(luò)運(yùn)維自動(dòng)化提升整體網(wǎng)絡(luò)團(tuán)隊(duì)的能力，通過網(wǎng)絡(luò)資源的虛擬化實(shí)現(xiàn)網(wǎng)絡(luò)更大的靈活性和擴(kuò)展性，通過“自我革命”實(shí)現(xiàn)網(wǎng)絡(luò)底層對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)的服務(wù)輸出，是當(dāng)前網(wǎng)絡(luò)運(yùn)維面臨的新問題和新挑戰(zhàn)。網(wǎng)絡(luò)運(yùn)維現(xiàn)在的本職工作，不僅僅是要提升網(wǎng)絡(luò)的自動(dòng)化運(yùn)維能力，更需要提升網(wǎng)絡(luò)對(duì)業(yè)務(wù)及應(yīng)用系統(tǒng)的持續(xù)交付水平，爭(zhēng)做銀行數(shù)字化轉(zhuǎn)型的領(lǐng)頭羊、排頭兵。商業(yè)銀行數(shù)據(jù)中心自動(dòng)化運(yùn)維平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)摘要：當(dāng)前，商業(yè)銀行數(shù)據(jù)中心處在“雙態(tài)運(yùn)維''模式下，如何做好穩(wěn)敏共存、穩(wěn)敏共進(jìn)是商行數(shù)據(jù)中心必須面臨的挑戰(zhàn)，在該背景下，需要建設(shè)一個(gè)覆蓋開發(fā)、測(cè)試、生產(chǎn)的自動(dòng)化運(yùn)維平臺(tái)，以此來全面提升運(yùn)維工作效率并降低人工操作風(fēng)險(xiǎn)。自動(dòng)化運(yùn)維平臺(tái)需要以業(yè)務(wù)為中心，以流程為導(dǎo)向，幫助實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的快速上線和更新部署，滿足日常運(yùn)維主流場(chǎng)景的自動(dòng)化需求，全面提升運(yùn)維自動(dòng)化水平，實(shí)現(xiàn)商業(yè)銀行數(shù)據(jù)中心日常運(yùn)維標(biāo)準(zhǔn)化、自動(dòng)化、集中化和一體化的管理體系。耳自鍵詞：數(shù)據(jù)中心;標(biāo)準(zhǔn)化;自動(dòng)化;一體化1項(xiàng)目背景隨著商業(yè)銀行各項(xiàng)創(chuàng)新業(yè)務(wù)的快速發(fā)展，數(shù)據(jù)中心IT信息系統(tǒng)建設(shè)不斷深化，IT基礎(chǔ)設(shè)施規(guī)模和復(fù)雜性急劇增大，兩地三中心的基礎(chǔ)架構(gòu)，動(dòng)輒幾百套信息系統(tǒng)、上萬(wàn)臺(tái)服務(wù)器的規(guī)模，通過手工或簡(jiǎn)單腳本化操作的傳統(tǒng)運(yùn)維模式的局限性日益顯現(xiàn)，無(wú)法滿足商業(yè)銀行數(shù)字化轉(zhuǎn)型的需求。在當(dāng)前大數(shù)據(jù)、云計(jì)算時(shí)代的背景下，必須通過自動(dòng)化運(yùn)維平臺(tái)的建設(shè)和應(yīng)用，在確保IT基礎(chǔ)設(shè)施的安全、穩(wěn)定運(yùn)行的前提下，實(shí)現(xiàn)資源的快速部署、應(yīng)用持續(xù)集成和快速交付、故障的快速應(yīng)急、變更的及時(shí)響應(yīng)，只有這樣才能快速響應(yīng)業(yè)務(wù)對(duì)IT基礎(chǔ)設(shè)施的各類服務(wù)需求［1］。2設(shè)計(jì)目標(biāo)及原則設(shè)計(jì)目標(biāo)鑒于商業(yè)銀行數(shù)據(jù)中心運(yùn)維工作的復(fù)雜性和多樣性，并考慮到建設(shè)成本和前瞻性，需采用先進(jìn)的運(yùn)維理念及主流的軟件架構(gòu)。自動(dòng)化運(yùn)維平臺(tái)建設(shè)應(yīng)做到支持各類主流基礎(chǔ)軟硬件平臺(tái)，在為運(yùn)維人員提供運(yùn)維場(chǎng)景設(shè)計(jì)、開發(fā)、管理和執(zhí)行的功能平臺(tái)的同時(shí)，具備運(yùn)維場(chǎng)景可定義、可配置、可定制的特點(diǎn)，實(shí)現(xiàn)運(yùn)維場(chǎng)景從設(shè)計(jì)、開發(fā)、審批、發(fā)布、使用到回顧的全生命周期管理，合理合規(guī)地提升運(yùn)維人員產(chǎn)能和運(yùn)維管理效能，逐步實(shí)現(xiàn)被動(dòng)運(yùn)維向主動(dòng)運(yùn)維轉(zhuǎn)型，操作運(yùn)維向運(yùn)維開發(fā)轉(zhuǎn)型［2］。設(shè)計(jì)原則針對(duì)商業(yè)銀行數(shù)據(jù)中心自動(dòng)化運(yùn)維平臺(tái)的建設(shè)目標(biāo)，遵循5個(gè)方面的原則進(jìn)行建設(shè)。1）體現(xiàn)主動(dòng)運(yùn)維、向開發(fā)運(yùn)維轉(zhuǎn)型的要求。2）標(biāo)準(zhǔn)化、自動(dòng)化、集中化和測(cè)試運(yùn)維一體化的建設(shè)思路和目標(biāo)。3）平臺(tái)的穩(wěn)定性、安全性、保密性、可靠性和完整性。4）技術(shù)先進(jìn)性和可擴(kuò)展性。5）體驗(yàn)上的易用性和美觀性。3系統(tǒng)設(shè)計(jì)頂層架構(gòu)設(shè)計(jì)平臺(tái)物理架構(gòu)因監(jiān)管及安全的實(shí)際需要，商業(yè)銀行數(shù)據(jù)中心多采用兩地三中心甚至多中心的物理布局，自動(dòng)化運(yùn)維平臺(tái)建設(shè)需要滿足這一要求。所以在平臺(tái)的設(shè)計(jì)上應(yīng)采用分布式架構(gòu)，支持多地部署、高可用和負(fù)載均衡的模式。整體架構(gòu)可劃分為服務(wù)層、交互層和被管設(shè)備層（Sever/Probe/Agent）3層，服務(wù)層統(tǒng)一管理多個(gè)交互層，交互層與被管設(shè)備層進(jìn)行通信，各層之間通過加密的方式進(jìn)行通信，平臺(tái)應(yīng)基于RPC消息服務(wù)模式實(shí)現(xiàn)去中心化的分布式架構(gòu)，實(shí)現(xiàn)多中心運(yùn)維自動(dòng)化平臺(tái)的統(tǒng)一和安全管理。平臺(tái)邏輯架構(gòu)平臺(tái)邏輯架構(gòu)的設(shè)計(jì)應(yīng)從數(shù)據(jù)中心IT基礎(chǔ)設(shè)施運(yùn)維場(chǎng)景實(shí)際出發(fā)，同時(shí)考慮未來技術(shù)發(fā)展方向和業(yè)務(wù)對(duì)IT基礎(chǔ)設(shè)施運(yùn)維服務(wù)能力的要求，力求在技術(shù)方案的先進(jìn)性、實(shí)用性、擴(kuò)展性、可靠性等方面保持一個(gè)良好的平衡。在邏輯架構(gòu)上，平臺(tái)可分為運(yùn)維接口層、核心組件層、系統(tǒng)功能層、應(yīng)用場(chǎng)景層和界面交互層。、運(yùn)維接口層：商業(yè)銀行數(shù)據(jù)中心根據(jù)自身運(yùn)維管理的要求，大多己經(jīng)建設(shè)完成了ITSM等運(yùn)維管理類系統(tǒng)。自動(dòng)化運(yùn)維平臺(tái)除了提供平臺(tái)自身和被管理節(jié)點(diǎn)之間的交互接口外，還應(yīng)該提供完善的第三方接口（例如KVM、K8S、ITSM、CMDB等），其中可通過API與虛擬化系統(tǒng)進(jìn)行交互操作，通過K8s與Dock容器集群進(jìn)行編排管理，通過SNMP、SSH等方式對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行操作管理，通過HTTP/HTTPS協(xié)議與第三方系統(tǒng)接口進(jìn)行交互協(xié)作等。核心組件層：核心組件層作為平臺(tái)功能的底層支撐，主要提供平臺(tái)所有前端和后臺(tái)數(shù)據(jù)的處理，以及各功能模塊的后臺(tái)實(shí)現(xiàn)邏輯，平臺(tái)的核心組件應(yīng)設(shè)計(jì)自身知識(shí)庫(kù)，并基于穩(wěn)定高效的批量引擎、調(diào)度引擎和規(guī)則引擎，實(shí)現(xiàn)對(duì)系統(tǒng)功能層的有力支撐。系統(tǒng)功能層：利用核心組件層提供的基本能力，設(shè)計(jì)運(yùn)維平臺(tái)的主要系統(tǒng)功能，實(shí)現(xiàn)商業(yè)銀行日常主流運(yùn)維操作的覆蓋，如裸機(jī)安裝、軟件安裝、補(bǔ)丁安裝、信息自動(dòng)采集、作業(yè)管理、批量管理、運(yùn)維流程編排、自動(dòng)巡檢和基線檢查等。應(yīng)用場(chǎng)景層：為方便人機(jī)交互，便于運(yùn)維工程師操作和復(fù)用，平臺(tái)應(yīng)利用系統(tǒng)提供的功能模塊對(duì)日常運(yùn)維場(chǎng)景進(jìn)行進(jìn)一步的場(chǎng)景化封裝，應(yīng)將一些操作復(fù)雜、重復(fù)操作的運(yùn)維場(chǎng)景封裝為標(biāo)準(zhǔn)化、規(guī)范化的一鍵式操作功能，如維護(hù)變更、應(yīng)急處置、持續(xù)集成部署、災(zāi)備切換、健康巡檢、安全基線檢查等。界面交互層：提供面向運(yùn)維工程師的統(tǒng)一Web管理入口，以模塊化的方式組織平臺(tái)提供的各類組件、功能模塊和應(yīng)用場(chǎng)景，實(shí)現(xiàn)日常運(yùn)維的統(tǒng)一管理。此外，面向第三方系統(tǒng)，通過RESTAPI的方式提供服務(wù)接口，輸出平臺(tái)能力。底層數(shù)據(jù)抓取設(shè)計(jì)鑒于行業(yè)的特殊性，商業(yè)銀行數(shù)據(jù)中心對(duì)信息安全和數(shù)據(jù)安全都有著嚴(yán)格的管控要求，平臺(tái)的底層數(shù)據(jù)抓取設(shè)計(jì)在應(yīng)對(duì)復(fù)雜的運(yùn)維環(huán)境前提下，還應(yīng)遵循監(jiān)管及商行內(nèi)部的安全規(guī)范，做到以下6個(gè)方面。1）根據(jù)實(shí)際需要采取Agent或Agentless方式，應(yīng)支持常用的腳本語(yǔ)言，如Shell.Powershell>PythonBat等，同時(shí)滿足文件和字符2種傳輸模式。2）嚴(yán)格控制高權(quán)限用戶執(zhí)行，高權(quán)限用戶操作時(shí)須有相應(yīng)的審批和授權(quán)記0Agent與平臺(tái)之間的信息傳輸要經(jīng)過加密處理，確保底層數(shù)據(jù)在傳輸過程中的安全。Agent與平臺(tái)的交互可根據(jù)運(yùn)維環(huán)境的實(shí)際情況采用同步或異步方式，最大限度地降低對(duì)被管設(shè)備資源的消耗和影響。Agent要有自我監(jiān)控，實(shí)時(shí)查看當(dāng)前的健康狀態(tài)，確保底層數(shù)據(jù)抓取的穩(wěn)定性。6）平臺(tái)頂層應(yīng)具有數(shù)據(jù)抓取后處理能力，通過規(guī)則引擎可以靈活定義數(shù)據(jù)的處理邏輯，適用于合規(guī)檢杳、基線比對(duì)、采集信息格式化、執(zhí)行結(jié)果報(bào)表化等場(chǎng)景，大幅降低個(gè)性化定制開發(fā)的成本。自動(dòng)化運(yùn)維功能設(shè)計(jì)根據(jù)商業(yè)銀行數(shù)據(jù)中心的運(yùn)維環(huán)境和日常運(yùn)維場(chǎng)景特點(diǎn)，平臺(tái)自動(dòng)化運(yùn)維功能應(yīng)包括資源管理、運(yùn)維服務(wù)管理、報(bào)表管理等方面，同時(shí)需對(duì)運(yùn)維工程師的平臺(tái)操作做好權(quán)限管理和行為審計(jì)管理。3.1資源管理資源管通功能設(shè)計(jì)主要包括3個(gè)方面。I）設(shè)備資源管理：服務(wù)器、網(wǎng)絡(luò)等設(shè)備是平臺(tái)納管的主要目標(biāo)，平臺(tái)應(yīng)實(shí)現(xiàn)對(duì)被管設(shè)備的集中管理和一鍵納管。為方便運(yùn)維工程師選擇操作設(shè)備，應(yīng)能通過IP模糊查詢、操作系統(tǒng)、中間件、歸屬應(yīng)用等多維度進(jìn)行定位，同時(shí)支持通過正則表達(dá)式等方式對(duì)設(shè)備進(jìn)行靈活的標(biāo)簽分組和設(shè)備屬性自定義。2）應(yīng)用系統(tǒng)管理：平臺(tái)應(yīng)根據(jù)商業(yè)銀行數(shù)據(jù)中心的日常運(yùn)維職責(zé)劃分實(shí)際需要，實(shí)現(xiàn)被管設(shè)備的應(yīng)用系統(tǒng)歸屬管理，避免誤操作。3）信息收集管理：實(shí)現(xiàn)被管設(shè)備的信息收集功能，滿足報(bào)表統(tǒng)計(jì)、自動(dòng)化巡檢、合規(guī)檢查、基線比對(duì)等場(chǎng)景。運(yùn)維服務(wù)管理運(yùn)維服務(wù)管理主要體現(xiàn)在日常運(yùn)維場(chǎng)景的管理，實(shí)現(xiàn)自主提煉和封裝維護(hù)變更、應(yīng)急處置、軟件下發(fā)、補(bǔ)丁安裝、環(huán)境交付等日常運(yùn)維場(chǎng)景，使其成為標(biāo)準(zhǔn)化、規(guī)范化的運(yùn)維服務(wù)，以供其他運(yùn)維工程師使用，從而實(shí)現(xiàn)降低運(yùn)維技術(shù)門檻、屏蔽技術(shù)復(fù)雜度、提高運(yùn)維效率。結(jié)合各運(yùn)維場(chǎng)景的特點(diǎn)，運(yùn)維服務(wù)管理的實(shí)現(xiàn)主要包括服務(wù)封裝、服務(wù)審批、服務(wù)實(shí)例化、執(zhí)行授權(quán)和執(zhí)行可視化。服務(wù)封裝：以腳本化、參數(shù)化、流程化的方式對(duì)運(yùn)維場(chǎng)景進(jìn)行服務(wù)化封裝，并通過圖形化、可視化的界面設(shè)計(jì)實(shí)現(xiàn)自主編排運(yùn)維服務(wù)。服務(wù)審批：通過審批功能模塊實(shí)現(xiàn)運(yùn)維服務(wù)的發(fā)布和執(zhí)行審批，對(duì)運(yùn)維服務(wù)的質(zhì)量和安全性進(jìn)行有效管控，避免非合規(guī)操作造成的生產(chǎn)事故。服務(wù)實(shí)例化：通過參數(shù)化方式實(shí)現(xiàn)運(yùn)維服務(wù)的一次封裝。執(zhí)行授權(quán)：通過執(zhí)行授權(quán)的方式管控運(yùn)維任務(wù)的執(zhí)行，以確保對(duì)的人在對(duì)的時(shí)間做對(duì)的事。執(zhí)行可視化：通過可視化界面實(shí)時(shí)展示運(yùn)維任務(wù)的執(zhí)行過程和結(jié)果，便于查看、干預(yù)。報(bào)表管理報(bào)表管理實(shí)現(xiàn)對(duì)平臺(tái)的管理數(shù)據(jù)和運(yùn)維數(shù)據(jù)的統(tǒng)計(jì)工作，包括平臺(tái)的管理資源統(tǒng)計(jì)、運(yùn)維任務(wù)統(tǒng)計(jì)、采集信息統(tǒng)計(jì)、執(zhí)行歷史統(tǒng)計(jì)等，為整體IT資源管理和運(yùn)維工作管理提供數(shù)據(jù)支持。行為審計(jì)管理為了滿足商業(yè)銀行數(shù)據(jù)中心安全管理的審計(jì)要求，自動(dòng)化運(yùn)維平臺(tái)的行為審計(jì)也是必不可少的功能。平臺(tái)操作均可追溯。權(quán)限管理商業(yè)銀行數(shù)據(jù)中心對(duì)運(yùn)維操作有著嚴(yán)格的管控和審批機(jī)制，平臺(tái)自身應(yīng)設(shè)計(jì)完備的角色權(quán)限管理功能，提供集中統(tǒng)一的權(quán)限管理，遵循最小授權(quán)原則。同時(shí)，為兼顧主動(dòng)運(yùn)維轉(zhuǎn)型，應(yīng)設(shè)計(jì)運(yùn)維操作、運(yùn)維開發(fā)、運(yùn)維審批、執(zhí)行授權(quán)等不同級(jí)別的權(quán)限角色，同級(jí)別角色仍可進(jìn)行增、刪、改、執(zhí)行等權(quán)限的細(xì)分。4系統(tǒng)測(cè)試及功能實(shí)現(xiàn)系統(tǒng)測(cè)試商業(yè)銀行數(shù)據(jù)中心自動(dòng)化運(yùn)維平臺(tái)測(cè)試應(yīng)遵循行業(yè)測(cè)試規(guī)范，做好功能測(cè)試、運(yùn)維場(chǎng)景測(cè)試、接口測(cè)試、UAT測(cè)試和性能測(cè)試，同時(shí)還應(yīng)結(jié)合平臺(tái)自身特性，做好如下測(cè)試。數(shù)據(jù)一致性測(cè)試：數(shù)據(jù)安全、執(zhí)行結(jié)果符合預(yù)期是商業(yè)銀行數(shù)據(jù)中心運(yùn)維任務(wù)管理的重中之重，鑒于平臺(tái)的多層架構(gòu)設(shè)計(jì)和被管設(shè)備環(huán)境的復(fù)雜性，平臺(tái)需做好在各節(jié)點(diǎn)網(wǎng)絡(luò)中斷、運(yùn)維任務(wù)執(zhí)行超時(shí)等特殊情況下的數(shù)據(jù)一致性測(cè)試，確保運(yùn)維任務(wù)執(zhí)行結(jié)果可控。高并發(fā)測(cè)試：鑒于平臺(tái)的批量部署特點(diǎn)，平臺(tái)需要做好單一場(chǎng)景和混合場(chǎng)景下的高并發(fā)測(cè)試，確保運(yùn)維任務(wù)的正確執(zhí)行，做到有令必達(dá)。Agent資源使用測(cè)試：如果平臺(tái)采用Agent方式實(shí)現(xiàn)被管設(shè)備的納管，則需要對(duì)Agenl資源占用情況做好疲勞性測(cè)試，確保資源使用不會(huì)對(duì)被管設(shè)備產(chǎn)生不良影響。網(wǎng)絡(luò)帶寬影響性測(cè)試：平臺(tái)應(yīng)對(duì)運(yùn)維任務(wù)的并發(fā)進(jìn)行監(jiān)控控制和優(yōu)先級(jí)設(shè)置，確保不會(huì)因并發(fā)失控導(dǎo)致生產(chǎn)帶寬擁堵，必要時(shí)使用QoS等網(wǎng)絡(luò)控制技術(shù)。系統(tǒng)功能實(shí)現(xiàn)平臺(tái)功能實(shí)現(xiàn)應(yīng)遵循高內(nèi)聚低耦合的模塊化設(shè)計(jì)理念，充分借鑒和參考在運(yùn)維自動(dòng)化領(lǐng)域主流的“Sever/Probe/Agent或