智能運(yùn)維及反洗錢運(yùn)維建設(shè)的思考

1、智能運(yùn)維及反洗錢運(yùn)維建設(shè)的思考FinTech時(shí)代，全球范圍內(nèi)的社會(huì)形態(tài)、商業(yè)生態(tài)和客戶行為發(fā)生深刻變化，科技賦能效應(yīng)日益明顯。IT系統(tǒng)已經(jīng)從支撐工具逐步演進(jìn)為核心競(jìng)爭(zhēng)優(yōu)勢(shì)。如何借助以云計(jì)算、大數(shù)據(jù)等為 代表的新興技術(shù)夯實(shí)運(yùn)維基礎(chǔ)；如何打造高效能、高可用、低風(fēng) 險(xiǎn)運(yùn)維系統(tǒng)，為業(yè)務(wù)提供持續(xù)支撐；如何保證信息系統(tǒng)安全穩(wěn)定 運(yùn)行，優(yōu)化IT資源環(huán)境的性能？這些都是IT運(yùn)維管理所面臨的新問(wèn)題。面對(duì)不斷涌現(xiàn)的運(yùn)維新挑戰(zhàn)，業(yè)界認(rèn)為智能化將是運(yùn)維 管理的發(fā)展方向。AIOps運(yùn)維概念的提出近年來(lái)，運(yùn)維管理經(jīng)歷了從手工運(yùn)維到 ITOM （IT運(yùn)維管理）， 進(jìn)而逐步向AIOps （IT智能運(yùn)維）邁進(jìn)的過(guò)程，體現(xiàn)了運(yùn)維

2、技術(shù)從 數(shù)字化、自動(dòng)化到智能化的發(fā)展趨勢(shì)。業(yè)界提出的AIOps運(yùn)維概念，期望在ITOM基礎(chǔ)上，運(yùn)用機(jī)器學(xué)習(xí)與人工智能技術(shù)，從系統(tǒng)的 行為、事件、故障和趨勢(shì)等維度，對(duì)IT系統(tǒng)運(yùn)行狀態(tài)進(jìn)行深度監(jiān) 控、趨勢(shì)分析、智能決策，從而提升運(yùn)維管理能力，為 IT運(yùn)維提供 全新的管理思路。AIOps典型場(chǎng)景包括但不限于如下四方面。1 .資源優(yōu)化。資源優(yōu)化包括閾值動(dòng)態(tài)調(diào)整、資源與性能優(yōu)化等 運(yùn)維場(chǎng)景。傳統(tǒng)的運(yùn)維管理平臺(tái)一般采用靜態(tài)閾值。然而，靜態(tài)閾 值往往是根據(jù)人的經(jīng)驗(yàn)設(shè)定。閾值動(dòng)態(tài)調(diào)整通過(guò)自主學(xué)習(xí)系統(tǒng)運(yùn)行 情況，結(jié)合運(yùn)維人員的經(jīng)驗(yàn)，自動(dòng)調(diào)整各閾值。資源與性能優(yōu)化通 過(guò)全面監(jiān)測(cè)系統(tǒng)運(yùn)行情況，運(yùn)用智能算法挖掘系統(tǒng)運(yùn)

3、行規(guī)律，定位性能瓶頸，利用智能調(diào)度算法實(shí)現(xiàn)資源合理分配，最大化提高資源 利用率，提升系統(tǒng)性能。2 .智能預(yù)測(cè)。智能預(yù)測(cè)包括故障預(yù)測(cè)、安全態(tài)勢(shì)感知等運(yùn)維場(chǎng) 景。故障預(yù)測(cè)利用回歸分析、神經(jīng)網(wǎng)絡(luò)等技術(shù)，分析設(shè)備運(yùn)行情況 的變化趨勢(shì)，提前診斷故障，對(duì)潛在風(fēng)險(xiǎn)進(jìn)行預(yù)警，避免更大損 失。安全態(tài)勢(shì)感知通過(guò)實(shí)時(shí)監(jiān)控、特征提取等手段，構(gòu)建安全分析 模型，識(shí)別和預(yù)測(cè)可能的安全隱患，提前研判未來(lái)安全態(tài)勢(shì)，有效 防范和化解安全風(fēng)險(xiǎn)。3 .分析診斷。分析診斷包括異常分析、故障診斷等運(yùn)維場(chǎng)景。 隨著系統(tǒng)規(guī)模不斷變大、復(fù)雜度不斷提高，運(yùn)維數(shù)據(jù)量越來(lái)越大， 運(yùn)維人員對(duì)海量數(shù)據(jù)進(jìn)行分析并診斷故障原因變得越來(lái)越困難。異 常分析運(yùn)

4、用關(guān)聯(lián)、聚類等技術(shù)規(guī)約同類異常，減少無(wú)效告警，結(jié)合 人工專家經(jīng)驗(yàn)，分析不同告警間的相關(guān)性，快速診斷故障。4 .智能決策。智能決策包括決策輔助、故障自愈等運(yùn)維場(chǎng)景。 AIOps具備將數(shù)據(jù)轉(zhuǎn)換為知識(shí)、對(duì)知識(shí)分類組織和進(jìn)一步挖掘衍生 知識(shí)的能力，并形成知識(shí)庫(kù)。運(yùn)維人員遇到系統(tǒng)問(wèn)題時(shí)，可檢索知 識(shí)庫(kù)，尋找解決方案。止匕外，智能執(zhí)行根據(jù)分析診斷的結(jié)果，在沒(méi) 有人工干預(yù)情況下獨(dú)立完成故障感知、分析、決策、執(zhí)行、評(píng)估的 全流程，實(shí)現(xiàn)回滾、重啟和分流等操作，以使系統(tǒng)恢復(fù)正常狀態(tài)， 實(shí)現(xiàn)故障自愈。運(yùn)維管理系統(tǒng)建設(shè)的思考1 .建設(shè)現(xiàn)狀。隨著中國(guó)反洗錢監(jiān)測(cè)分析二代系統(tǒng)建設(shè)不斷推 進(jìn)，中心的信息技術(shù)架構(gòu)也正逐步由以往

5、的“集中式架構(gòu)”向“分 布式架構(gòu)”轉(zhuǎn)型。信息系統(tǒng)復(fù)雜性和分布性的增加，促使運(yùn)維部門 通過(guò)引入管理平臺(tái)輔助運(yùn)維管理。經(jīng)過(guò)一年多時(shí)間的定制開(kāi)發(fā)，運(yùn)維管理平臺(tái)已建成。通過(guò)整合 資源、固化流程、細(xì)化分工，全方位多角度實(shí)時(shí)展示系統(tǒng)運(yùn)行狀 態(tài)，使運(yùn)維數(shù)據(jù)更加完整，系統(tǒng)狀態(tài)更加透明，運(yùn)維工作更加有 序，從而提高運(yùn)維工作效率，提升運(yùn)維人員管理能力，節(jié)省管理成 本，提高運(yùn)維綜合質(zhì)量。該平臺(tái)具備以下主要功能。(1)數(shù)據(jù)采集。運(yùn)維數(shù)據(jù)采集按邏輯可以分為本地采集協(xié)議棧 和外部接口。本地采集協(xié)議棧又分“單向采集”和“雙向監(jiān)控”兩 種模式。其中，單向采集是指通過(guò) SNM若通用協(xié)議收集被管對(duì)象的 運(yùn)維信息，這一方式僅采集數(shù)

6、據(jù)，不操作被管對(duì)象；雙向監(jiān)控則通 過(guò)API或者輕量級(jí)代理，實(shí)現(xiàn)信息采集和運(yùn)維操作的雙向數(shù)據(jù)流 動(dòng)。外部接口包括災(zāi)備運(yùn)維接口和第三方平臺(tái)接口等，對(duì)接災(zāi)備站 點(diǎn)和其他第三方平臺(tái)。(2)運(yùn)維管理。運(yùn)維管理按實(shí)際需要包括應(yīng)用監(jiān)控、大數(shù)據(jù)平 臺(tái)監(jiān)控和云平臺(tái)監(jiān)控。應(yīng)用監(jiān)控從業(yè)務(wù)視角出發(fā)，建立子系統(tǒng)業(yè)務(wù) 拓?fù)鋱D。每個(gè)業(yè)務(wù)拓?fù)鋱D從業(yè)務(wù)、服務(wù)、IT基礎(chǔ)設(shè)施不同層面，立 體展現(xiàn)子系統(tǒng)所有軟硬件的運(yùn)行狀態(tài)。當(dāng)出現(xiàn)異常時(shí)，相應(yīng)的業(yè)務(wù) 拓?fù)鋱D將高亮顯示告警或故障信息。云和大數(shù)據(jù)平臺(tái)監(jiān)控提供實(shí)時(shí) 的集群概況，例如各物理節(jié)點(diǎn)和虛擬節(jié)點(diǎn)的運(yùn)行狀況，集群資源使用情況等，提供報(bào)告和診斷工具，幫助優(yōu)化性能和提高資源利用率。(3)運(yùn)

7、維可視化。運(yùn)維可視化向管理員展示運(yùn)行概覽、網(wǎng)絡(luò)拓 撲、應(yīng)用運(yùn)行情況等信息，提供配置管理、拓?fù)涔芾?、安全管理?災(zāi)備環(huán)境管理等運(yùn)維管理功能，打造統(tǒng)一運(yùn)維工作平臺(tái)。在運(yùn)維管理方面，向管理員提供配置調(diào)整、拓?fù)渲貥?gòu)、告警閾 值重置等管理功能，協(xié)助管理員完成定期巡檢、災(zāi)備系統(tǒng)管理等運(yùn) 維職能。在展示與報(bào)表方面，以曲線圖、拓?fù)鋱D、數(shù)據(jù)表、儀表圖 等形式展示系統(tǒng)實(shí)時(shí)或歷史運(yùn)行狀態(tài)、關(guān)鍵性能、拓?fù)浣Y(jié)構(gòu)、告警 事件等信息，便于管理員直觀、多角度了解整個(gè)被管系統(tǒng)的運(yùn)行狀 態(tài)。同時(shí)，提供報(bào)表數(shù)據(jù)，可根據(jù)管理員要求定制個(gè)性化報(bào)表；提 供報(bào)表數(shù)據(jù)分析工具，實(shí)現(xiàn)對(duì)歷史數(shù)據(jù)的按需分析能力，幫助管理 員掌握系統(tǒng)運(yùn)行規(guī)律。(4

8、)平臺(tái)管理。平臺(tái)管理包括平臺(tái)相關(guān)的管理員管理、安全管 理、審計(jì)管理等。運(yùn)維管理平臺(tái)梳理運(yùn)維管理核心流程，將其規(guī)范 化、標(biāo)準(zhǔn)化，明確定義各流程的運(yùn)維步驟、流程間的關(guān)系，以及各 運(yùn)維人員角色定位與責(zé)權(quán)分配，從而高效解決運(yùn)維相關(guān)問(wèn)題，提升 運(yùn)維效率。2 .近期建設(shè)目標(biāo)?，F(xiàn)有運(yùn)維管理平臺(tái)通過(guò)自動(dòng)化提升了運(yùn)維效 率，但仍未能擺脫運(yùn)維工作對(duì)運(yùn)維人員經(jīng)驗(yàn)的依賴。原因在于運(yùn)維管理平臺(tái)往往缺乏分析能力，對(duì)采集到的運(yùn)維信息未能進(jìn)一步加 工，更無(wú)法將數(shù)據(jù)進(jìn)行知識(shí)化提升。為此，需要在現(xiàn)有運(yùn)維管理平 臺(tái)基礎(chǔ)上，進(jìn)一步建設(shè)智能運(yùn)維 AIOps,提高運(yùn)維系統(tǒng)智能優(yōu)化、 智能診斷、智能預(yù)測(cè)和智能決策的綜合能力，從而提升運(yùn)維效

9、率。經(jīng)分析認(rèn)為，可以分三個(gè)階段實(shí)現(xiàn)我中心 AIOps系統(tǒng)建設(shè)，具 體如圖1所示。第一階段為運(yùn)維管理平臺(tái)建設(shè)階段，已基本完成。 建設(shè)并完善運(yùn)維管理系統(tǒng)，實(shí)現(xiàn)對(duì)反洗錢二代系統(tǒng)所有設(shè)備和應(yīng)用 的實(shí)時(shí)監(jiān)控，全面取代手工操作。第二階段為運(yùn)維大數(shù)據(jù)分析階 段，作為近期目標(biāo)。在上述基礎(chǔ)上，建設(shè)運(yùn)維大數(shù)據(jù)分析平臺(tái)，引 入分析手段，將日常運(yùn)維從被動(dòng)的運(yùn)行狀態(tài)監(jiān)控向主動(dòng)的異?，F(xiàn)象 分析轉(zhuǎn)變，運(yùn)維建設(shè)重心進(jìn)一步轉(zhuǎn)向面向用戶感知的IT運(yùn)維服務(wù), 為智能運(yùn)維打下堅(jiān)實(shí)基礎(chǔ)。第三階段為智能運(yùn)維階段，是最終目標(biāo)。建成具備反洗錢運(yùn)維管理特色的 AIOps系統(tǒng)運(yùn)維管理ITOM運(yùn)維大數(shù)據(jù)分折智能運(yùn)維AIOp5Level4 膜測(cè)皴根

10、據(jù)多維指標(biāo) 分析，實(shí)現(xiàn)趨 勢(shì)分析和故障 預(yù)測(cè)Levell平自Si通過(guò)統(tǒng)一平臺(tái)聚 合多種運(yùn)維工具. 實(shí)凰實(shí)時(shí)監(jiān)控及 日常運(yùn)推管理Level2 數(shù)據(jù)繳實(shí)現(xiàn)運(yùn)維數(shù)據(jù)歸檔,持久存放及全局搜索Levels 分析級(jí) 通過(guò)關(guān)聯(lián)所有 運(yùn)維數(shù)據(jù)，分 析診斷異常原 因Levels 智能級(jí)基于深度學(xué)習(xí)，人工皆能，將數(shù) 據(jù)轉(zhuǎn)換為知識(shí)， 實(shí)現(xiàn)故障目取等 智能運(yùn)維場(chǎng)景圖1 AIOps系統(tǒng)建設(shè)步驟圖為實(shí)現(xiàn)上述目標(biāo)，規(guī)劃從運(yùn)維大數(shù)據(jù)平臺(tái)建設(shè)、運(yùn)維數(shù)據(jù)預(yù)處 理、異常檢測(cè)等四方面，推進(jìn)智能運(yùn)維建設(shè)。(1)運(yùn)維大數(shù)據(jù)。運(yùn)維管理平臺(tái)一般采用較快的頻率采集數(shù)據(jù) 方式，以確保故障告警的時(shí)效性和監(jiān)控指標(biāo)種類的全面性。因此， 隨著時(shí)間的推移

11、，運(yùn)行數(shù)據(jù)和日志記錄將迅速形成運(yùn)維大數(shù)據(jù)。同 時(shí)，有調(diào)查表明運(yùn)維歷史數(shù)據(jù)使用率極低，大量的寶貴運(yùn)維知識(shí)被 淹沒(méi)在海量數(shù)據(jù)中，得不到有效利用。主要有兩方面原因：一方面，傳統(tǒng)運(yùn)維管理平臺(tái)無(wú)法有效支撐大數(shù)據(jù)級(jí)數(shù)據(jù)的并行計(jì)算和分 析處理；另一方面，為保證查詢統(tǒng)計(jì)效率，傳統(tǒng)的運(yùn)維管理平臺(tái)往 往會(huì)采用壓縮策略，但丟棄部分很可能含有重要的運(yùn)維知識(shí)。大數(shù)據(jù)技術(shù)可以實(shí)現(xiàn)海量數(shù)據(jù)全局搜索，能有效幫助運(yùn)維人員更便捷地 分析數(shù)據(jù)，從而支撐今后運(yùn)維分析工作的開(kāi)展。(2)數(shù)據(jù)預(yù)處理。收集到運(yùn)維事件信息后，在數(shù)據(jù)處理層進(jìn)一 步對(duì)各類業(yè)務(wù)感知、性能、告警、配置數(shù)據(jù)集中進(jìn)行預(yù)處理，包 括：規(guī)范數(shù)據(jù)格式；根據(jù)需要對(duì)數(shù)據(jù)進(jìn)行拆分、

12、去重；驗(yàn)證數(shù)據(jù)正 確性；替換無(wú)效數(shù)據(jù)，補(bǔ)全缺失數(shù)據(jù)，保證數(shù)據(jù)完整性；對(duì)各類運(yùn) 維數(shù)據(jù)字段進(jìn)行統(tǒng)一格式轉(zhuǎn)換等。預(yù)處理為后續(xù)數(shù)據(jù)挖掘模型訓(xùn)練 和大數(shù)據(jù)分析提供了數(shù)據(jù)準(zhǔn)備。(3)異常檢測(cè)。系統(tǒng)運(yùn)行過(guò)程中發(fā)生的故障，大部分為漸發(fā)性 故障。即在故障發(fā)生前的一段時(shí)間內(nèi)，與其相關(guān)聯(lián)的服務(wù)、設(shè)備會(huì) 出現(xiàn)指標(biāo)惡化、服務(wù)質(zhì)量下降等現(xiàn)象。針對(duì)此類現(xiàn)象，通過(guò)對(duì)歷史 數(shù)據(jù)和實(shí)時(shí)流量數(shù)據(jù)的分析，綜合報(bào)送機(jī)構(gòu)服務(wù)響應(yīng)時(shí)間、數(shù)據(jù)處理入庫(kù)時(shí)間等多維度感知指標(biāo)，匯聚成一個(gè)整體，既進(jìn)行宏觀分析 也進(jìn)行關(guān)聯(lián)分析、時(shí)序分析等微觀分析，從而實(shí)時(shí)、自動(dòng)、準(zhǔn)確地 從監(jiān)控?cái)?shù)據(jù)中發(fā)現(xiàn)異常，為后續(xù)的診斷、自愈提供基礎(chǔ)。(4)故障診斷推薦。構(gòu)建業(yè)務(wù)

13、、子系統(tǒng)數(shù)據(jù)流轉(zhuǎn)神經(jīng)網(wǎng)絡(luò)，通 過(guò)深淺知識(shí)、基因比對(duì)等算法構(gòu)建出故障根因樹的超集。在超集上 進(jìn)行每邊的聯(lián)動(dòng)分析，對(duì)這棵樹進(jìn)行剪枝，最終形成故障之間的聯(lián) 動(dòng)關(guān)系，即故障失效傳播鏈?；谥R(shí)庫(kù)分析故障失效傳播鏈，將 得出可能的故障點(diǎn)概率與處理推薦方案反饋給運(yùn)維人員，以作為故 障處理與恢復(fù)的參考。后期，當(dāng)根因樹被訓(xùn)練的比較準(zhǔn)確，故障經(jīng) 驗(yàn)庫(kù)完善后，便可依據(jù)準(zhǔn)確的報(bào)警，匹配根因樹與經(jīng)驗(yàn)庫(kù)，實(shí)現(xiàn)故 障的定位與自動(dòng)修復(fù)。3 .遠(yuǎn)期AIOps目標(biāo)。第二階段建設(shè)完成后，運(yùn)維系統(tǒng)將“初具 智慧”。進(jìn)一步通過(guò)在深度監(jiān)控、趨勢(shì)分析、故障定位、智能決策 等方向發(fā)力，使得系統(tǒng)更“聰明”，形成如圖 2所示的最終AIOps

14、架構(gòu)。統(tǒng)一采集引軍 I "tM H* ail 44M2安全保防體告警蕾理災(zāi)番警理鍬據(jù)標(biāo)準(zhǔn)出 規(guī)范體系運(yùn)行概艙拓?fù)洮F(xiàn)圖定期巡檢瑁表管理個(gè)性化定制其他熱振應(yīng)用居據(jù)Sttt據(jù)存儲(chǔ)E趨勢(shì)分析才ft加工鐐，優(yōu)化故障定位更法弓革異常檢測(cè)望文樓率引量匚作流中整API Agent其他入侵檢測(cè)防改檜測(cè)基據(jù)果集技術(shù)規(guī)范數(shù)據(jù)預(yù)處理技術(shù)規(guī)范故據(jù)治理技術(shù)視策數(shù)據(jù)模理技術(shù)規(guī)范數(shù)據(jù)訪問(wèn)接口規(guī)范數(shù)據(jù)安全技術(shù)觀危圖2 AIOps架構(gòu)設(shè)計(jì)圖(1)深度監(jiān)控。通過(guò)大數(shù)據(jù)和人工智能技術(shù)分析運(yùn)維數(shù)據(jù)，發(fā)掘更多運(yùn)維人員尚未覺(jué)察的潛在系統(tǒng)性能和安全問(wèn)題。通過(guò)多維度 深度分析，結(jié)合動(dòng)態(tài)指標(biāo)閾值，提供更精準(zhǔn)的故障預(yù)警；實(shí)時(shí)感知 網(wǎng)絡(luò)鏈

15、路狀態(tài)，合理規(guī)劃網(wǎng)絡(luò)負(fù)載，識(shí)別和預(yù)警網(wǎng)絡(luò)擁堵事件，分 析其原因并自主分流以疏解擁堵；能夠根據(jù)系統(tǒng)運(yùn)行情況，智能發(fā) 現(xiàn)性能優(yōu)化策略，自主調(diào)配，提供智能優(yōu)化服務(wù)；評(píng)估系統(tǒng)安全態(tài) 勢(shì)，識(shí)別并確認(rèn)安全風(fēng)險(xiǎn)，預(yù)測(cè)未來(lái)安全威脅并預(yù)警，幫助運(yùn)維管 理人員提前進(jìn)行安全加固。(2)趨勢(shì)分析。運(yùn)維工作不僅關(guān)注系統(tǒng)當(dāng)前運(yùn)行狀態(tài)，運(yùn)維人 員更希望能及時(shí)了解未來(lái)一段時(shí)間的系統(tǒng)運(yùn)行趨勢(shì)，包括容量預(yù) 測(cè)、性能預(yù)測(cè)等，提前獲知可能發(fā)生的故障，事先進(jìn)行設(shè)備檢修或 部件更換，從而盡可能避免故障發(fā)生。運(yùn)行趨勢(shì)分析借助大數(shù)據(jù)和 機(jī)器學(xué)習(xí)能力，結(jié)合運(yùn)維人員的有效經(jīng)驗(yàn)，分析得出故障、性能以 及關(guān)鍵指標(biāo)間的關(guān)系與規(guī)律，使用計(jì)算模型對(duì)目標(biāo)場(chǎng)

16、景實(shí)現(xiàn)模擬推 演，量化并預(yù)測(cè)系統(tǒng)的故障幾率和趨勢(shì)，降低業(yè)務(wù)運(yùn)行風(fēng)險(xiǎn)。(3)故障定位。將告警信息按照時(shí)間分片算法進(jìn)行分類分組， 通過(guò)對(duì)歷史和實(shí)時(shí)數(shù)據(jù)的挖掘與分析，結(jié)合處置已發(fā)生故障形成的 經(jīng)驗(yàn)知識(shí)庫(kù)和模型，關(guān)聯(lián)不同的告警和事件，形成告警關(guān)聯(lián)關(guān)系 網(wǎng)，從而將運(yùn)維信息由平面變?yōu)榱Ⅲw。運(yùn)維人員通過(guò)推導(dǎo)告警關(guān)聯(lián) 網(wǎng)絡(luò)路徑能更加快速、直觀的定位問(wèn)題，避免因同一故障導(dǎo)致的告 警風(fēng)暴，從而快速定位故障根因。(4)決策支持。在深度運(yùn)維監(jiān)控、運(yùn)行趨勢(shì)分析和故障根因定 位基礎(chǔ)上，描繪系統(tǒng)及故障畫像，立體式描繪系統(tǒng)狀態(tài)和故障細(xì) 節(jié)，輔助運(yùn)維人員進(jìn)行IT決策。除輔助運(yùn)維決策外，故障自愈能力甚至可以實(shí)現(xiàn)自動(dòng)“解決故 障”或“恢復(fù)系統(tǒng)”。針對(duì)特定的運(yùn)維場(chǎng)景，運(yùn)用基于已有的故障 判斷模型形成的故障知識(shí)庫(kù)，自主評(píng)估故障類型和影響范圍，并根 據(jù)評(píng)估結(jié)果從故障知識(shí)庫(kù)中找到相應(yīng)的最佳解決方案，甚至生