基于大數(shù)據(jù)的人工智能運維服務(wù)支撐方案

1、基于大數(shù)據(jù)的人工智能運維服務(wù)支撐方案01概述在運營商傳統(tǒng)網(wǎng)絡(luò)運維中，巡檢、告警分析、故障處理等工作長期積累了豐富的經(jīng)驗，其價值并未被充分挖掘。同時，目前的人工運維存在系統(tǒng)復(fù)雜耦合度高、數(shù)據(jù)來源多種多樣、人工維護風險度高，修復(fù)間隔時間過長、人員培養(yǎng)難度大等現(xiàn)狀，導(dǎo)致了性能相關(guān)告警不明確、無效告警篩查規(guī)則缺失、故障維護只能被動解決，優(yōu)化/維護工單重復(fù)派發(fā)等問題，影響網(wǎng)絡(luò)運維的效率和成本。為了優(yōu)化網(wǎng)絡(luò)運維的工作模式，提升網(wǎng)絡(luò)運維準確性及效率性，提出集中維護支撐服務(wù)項目，基于人工智能（ArtificialIntelligence）的運維解決方案旨在強調(diào)實現(xiàn)以維護為中心，依托大數(shù)據(jù)挖掘技術(shù)與深度學(xué)習算法

2、，實現(xiàn)問題早發(fā)現(xiàn)，由被動處理問題改為積極預(yù)防問題，從而提高整體資源的利用率和維護效率。02基于人工智能（AI）核心算法2.1 聚類算法（KMeanS通過對多維度求歐拉距離（或余弦距離），不斷的迭代對隱患進行聚類，找到關(guān)鍵核心點的特性進行隱患挖掘。K-Means算法是基于多維度距離的聚類算法，通過設(shè)置參數(shù)K,將樣本點分為K個緊湊且獨立的簇，每個簇由與簇的質(zhì)心歐拉距離靠近的樣本點組成。計算步驟:隨機選取K個中心點遍歷所有數(shù)據(jù)，將每個數(shù)據(jù)劃分到最近的中心點中計算每個聚類的平均值，并作為新的中心點,重復(fù)2-3,直到這k個中線點不再變化（收斂了），或執(zhí)行了足夠多的迭代以每個基站作為樣本點，以其性能指標參

3、數(shù)及歷史告警類別和頻次作為特征，對所有有告警基站進行K-Means聚類，通過不斷迭代將將告警類型依據(jù)相似性能指標進行聚類，深入挖掘各類告警的關(guān)鍵核心特征，作為基站畫像、隱患挖掘與管理的基礎(chǔ)。2.2 常規(guī)分類算法（邏輯回歸，KNN決策樹，隨機森林）通過把相似隱患進行歸并，可以對隱患進行分級，從而方便查找隱患的級別。常規(guī)分類算法是有監(jiān)督的機器學(xué)習算法，對于給定的目標類別，將樣本進行分類。邏輯回歸：基于Sigmoid函數(shù)的多特征的二分類/多分類廣義線性回歸。通過建立代價函數(shù)并利用梯度下降優(yōu)化的方法，實現(xiàn)多樣本的分類。KNNK最近鄰（kNN,k-NearestNeighbor）分類算法是數(shù)據(jù)挖掘分類技

4、術(shù)中最簡單的方法之一。所謂K最近鄰，就是將每個樣本分類為它最接近的k個樣本的類別均值。決策樹：決策樹又稱為判定樹，是運用于分類的一種樹結(jié)構(gòu),其中的每個內(nèi)部節(jié)點代表對某一屬性的一次測試，每條邊代表一個測試結(jié)果，葉節(jié)點代表某個類或類的分布。決策樹的決策過程需要從決策樹的根節(jié)點開始，待測數(shù)據(jù)與決策樹中的特征節(jié)點進行比較，并按照比較結(jié)果選擇選擇下一比較分支，直到葉子節(jié)點作為最終的決策結(jié)果。隨機森林：從樣本集中選取n個樣本，構(gòu)建決策樹，并重復(fù)這一步驟m次形成m個決策樹，通過投票表決決定樣本類別。以基站作為樣本點，通過分類方法可以將基站分為隱患基站和非隱患基站。通過對隱患基站性能指標參數(shù)、資產(chǎn)信息、地理信

5、息及告警類型級別作為特征，對基站告警隱患進行分級，確定基站隱患級別，實現(xiàn)對基站健康度打分。并可根據(jù)已訓(xùn)練好的機器學(xué)習模型對新樣本進行健康度評估。實現(xiàn)設(shè)備狀態(tài)預(yù)判。對于隱患級別高的基站進行重點關(guān)注，并將其對應(yīng)的性能參數(shù)指標作為隱患基因統(tǒng)計進入隱患管理庫。2.3 異常檢測算法核密度估計（kerneldensityestimation）是在概率論中用來估計未知的密度函數(shù)，屬于非參數(shù)檢驗方法之一。所謂核密度估計，就是采用平滑的峰值函數(shù)（“核”）來擬合觀察到的數(shù)據(jù)點，從而對真實的概率分布曲線進行模擬。核密度估計可用于進行異常檢測，計算正常樣本之外的異常分布可能性，用于異常數(shù)據(jù)分析、特殊場景分析。對于完成

6、畫像的基站樣本點，對于未發(fā)生告警的基站進行異常檢測，可以發(fā)現(xiàn)性能指標相對于正常值（不會觸發(fā)告警的性能值）發(fā)生偏離的樣本點，動態(tài)自適應(yīng)設(shè)定告警閥值，觸發(fā)維護工單。有效預(yù)警，降低站點告警故障。2.4 深度置信網(wǎng)絡(luò)（DBN深度置信網(wǎng)絡(luò)是一個概率生成模型，與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)相對，生成模型是建立一個觀察數(shù)據(jù)和標簽之間的聯(lián)合分布，對P（觀測值|標簽）和P（標簽|觀測值）都做了評估。DBNs由多個受限玻爾茲曼機（RestrictedBoltzmannMachines）層組成，一個典型的神經(jīng)網(wǎng)絡(luò)類型如圖所示。這些網(wǎng)絡(luò)被“限制”為一個可視層和一個隱層，層間存在連接，但層內(nèi)的單元間不存在連接。隱層單元被訓(xùn)

7、練去捕捉在可視層表現(xiàn)出來的高階數(shù)據(jù)的相關(guān)性。深度置信網(wǎng)絡(luò)可以用于樣本目標的數(shù)值預(yù)測以及樣本類別的分類。對于樣本類別的分類，與常規(guī)分類算法應(yīng)用相似。實現(xiàn)基站告警隱患分級，康度打分。并可根據(jù)已訓(xùn)練好的機器學(xué)習模型對新樣本進行健康度評估。實現(xiàn)設(shè)備狀態(tài)預(yù)判。對于樣本目標的預(yù)測值，通過深度置信網(wǎng)絡(luò)實現(xiàn)基站特征異常概率分析等功能。針對網(wǎng)絡(luò)性能指標特征的異常情況，進行概率預(yù)判，即嘗試對“亞健康”網(wǎng)絡(luò)進行預(yù)判。預(yù)先判斷網(wǎng)絡(luò)問題，減少投訴和性能告警、設(shè)備故障實際發(fā)生的概率。2.5 堆疊自動編碼器（SAE）自編碼器（AutoEncoder）是一種無監(jiān)督的學(xué)習算法，主要用于數(shù)據(jù)的降維或者特征的抽取。autoenco

8、der通過深度置信網(wǎng)絡(luò)進行預(yù)訓(xùn)練，從而確定網(wǎng)絡(luò)權(quán)值的初始值。其目標是讓輸入值等于輸出值。首先用網(wǎng)絡(luò)權(quán)值矩陣對輸入進行編碼，經(jīng)過激活函數(shù)后，再用矩陣轉(zhuǎn)置進行解碼，從而使得輸出數(shù)據(jù)等于輸入。該過程可以看作是對輸入數(shù)據(jù)的壓縮編碼，將高維的原始數(shù)據(jù)用低維的向量表示，使壓縮后的低維向量能保留輸入數(shù)據(jù)的典型特征。為實現(xiàn)智能站點畫像，需要對站點的性能指標，資產(chǎn)信息，地理信息，歷史告警信息等多維特征進行梳理。通過自編碼器可以對大量特征進行梳理并降維，最終形成構(gòu)成基站健康度指標的多維特征，可對后期的異常檢測，告警預(yù)測，隱患管理降低輸入數(shù)據(jù)維度，降低計算成本。2.6 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN循環(huán)神經(jīng)網(wǎng)絡(luò)可用于時間序列

9、相關(guān)的樣本取值預(yù)測。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節(jié)點是無連接的。RNNS1所以稱為循環(huán)神經(jīng)網(wǎng)路，即一個序列當前的輸出與前面的輸出也有關(guān)。具體的表現(xiàn)形式為網(wǎng)絡(luò)會對前面的信息進行記憶并應(yīng)用于當前輸出的計算中，即隱藏層之間的節(jié)點不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一日t刻隱藏層的輸出。理論上，RNNs能夠?qū)θ魏伍L度的序列數(shù)據(jù)進行處理。03端到端運維功能架構(gòu)3.1 網(wǎng)絡(luò)運營中心NOC端到端的運維架構(gòu)主要由兩大部分組成：網(wǎng)絡(luò)運營中心NOC(NetworkOperationCenter)和現(xiàn)場外線。NOC峨掰線送雄役

10、”返加船桎數(shù)邯分所諄斷海試單派發(fā)任務(wù)調(diào)度罹徵調(diào)度H障巡椅Figure1.endtoendoperationalarchitecture圖1.端到端運維功能架構(gòu)NOC（網(wǎng)絡(luò)運營中心）是實現(xiàn)遠程實時監(jiān)控服務(wù)運營和檢測設(shè)備狀況的網(wǎng)絡(luò)化中心，主要涉及運維設(shè)計、運維監(jiān)控、故障分析、診斷測試等幾大功能模塊，可結(jié)合運營商EOMSElectricOperationMaintenanceSystem）電子運維系統(tǒng)進行任務(wù)工單派發(fā)，將NOCS：入現(xiàn)有運維流程可提高相關(guān)技術(shù)、流程、組織及管理效率，進而提升網(wǎng)絡(luò)與服務(wù)的穩(wěn)定性與可預(yù)見性?，F(xiàn)場外線主要是承載、處理、閉環(huán)EMOSI子運維系統(tǒng)所派發(fā)任務(wù)工單，包括現(xiàn)場維護人員

11、的任務(wù)調(diào)度、資源調(diào)度及最終的排障巡檢。3.1.1 運維設(shè)計功能運維設(shè)計功能主要包括兩部分功能設(shè)計：運維規(guī)則設(shè)計與AI輔助規(guī)則設(shè)計。運所設(shè)計運傕現(xiàn)則設(shè)計陽輔助規(guī)明設(shè)討Figure2.designfunctionofoperationandmaintenance圖2.運維設(shè)計功能其中運維規(guī)則設(shè)計主要來源于運營商長期積累的相關(guān)運維經(jīng)驗，制定分析規(guī)則、診斷規(guī)則、派發(fā)規(guī)則、調(diào)度規(guī)則、激活規(guī)則等，將上述規(guī)則應(yīng)用于可視化設(shè)計分析中，為自動化運維提供快速設(shè)計能力。AI輔助規(guī)則設(shè)計則是由傳統(tǒng)技術(shù)專家進行專業(yè)設(shè)計轉(zhuǎn)變?yōu)橥ㄟ^AI技術(shù)輔助進行根因規(guī)則設(shè)計。將相關(guān)網(wǎng)元類型、告警類型、告警信息、告警碼、位置信息等作為輸入

12、項，通過神經(jīng)網(wǎng)絡(luò)相關(guān)算法最終輸出AI輔助規(guī)則。3.1.2 運維監(jiān)控功能通過對數(shù)據(jù)源、數(shù)據(jù)表等分析進行場景監(jiān)控設(shè)計，可視化呈現(xiàn)多系統(tǒng)、多界面的監(jiān)控Figure3.operationandmaintenancemonitoringfunction圖3.運維監(jiān)控功能場景運維監(jiān)控可對網(wǎng)絡(luò)全景監(jiān)控，也可選擇性針對主題監(jiān)控，定制適合實際需求的個性化監(jiān)控功能。將之前被動運維、基本無故障預(yù)測轉(zhuǎn)變?yōu)殡[患故障可預(yù)測及規(guī)避。3.1.3 故障分析功能通過部署RCA(RootCauseAnalysis)根本原因分析規(guī)則挖掘工具，根據(jù)算法學(xué)習出固有規(guī)律，形成規(guī)則放入RCA中進行告警根因查看和告警抑制壓減。Figure4.

13、faultanalysisfunction圖4.故障分析功能再結(jié)合性能指標、參數(shù)配置、相關(guān)變更情況、問題日志等進行多源關(guān)聯(lián)分析，從而對故障進一步確認，提高故障分析的準確性及效率性。3.1.4 診斷測試功能診斷測試功能主要包含人工診斷指令及自動診斷腳本兩部分。J一,NFV),物聯(lián)網(wǎng)等Figure5.diagnostictestfunction圖5.診斷測試功能首先通過人工診斷指令下發(fā)至EMS再由EM皈饋診斷結(jié)果至人工診斷指令部分；自動診斷腳本可批量生成指令，再由EM皈饋上報相關(guān)診斷報告，將診斷結(jié)果或診斷報告中異常問題自動創(chuàng)建維護工單并指派現(xiàn)場處理，交由現(xiàn)場工單管理，進行后續(xù)流程處理。3.1.5工

14、單派發(fā)功能工單關(guān)聯(lián)RCA勺關(guān)聯(lián)規(guī)則，進行根故障派單，子故障合并派單，綜合考慮網(wǎng)絡(luò)拓撲、運維經(jīng)驗等信息，例如同一基站下所有小區(qū)退服，則合并為一個業(yè)務(wù)工單，從源頭減少派單量，提高故障解決效率。Figure6.distributionfunctionofworklists圖6.工單派發(fā)功能T1告警消除最大量時間點，T2為關(guān)聯(lián)指派時間點，T3為告警派發(fā)最長時限，通過分析歷史告警，給出最佳關(guān)聯(lián)時間點閾值，減少消除告警的無效派單量，通過關(guān)聯(lián)減少派單總量，提升運維效率，通過動態(tài)設(shè)置派單時間閾值，追加合并派單，減少無效派單、重復(fù)派單。3.2現(xiàn)場外線配合3.2.1 故障單處理集中故障告警平臺針對告警監(jiān)控進行結(jié)果

15、輸出，在創(chuàng)建TT(TroubleTicket)工單之前，需要等待一定告警清除時間，避免相關(guān)工單追回。當系統(tǒng)收到TT的告警清楚消息后，可以自動關(guān)閉TT單和相對應(yīng)的WO(WorkOrder)單。Figure7.faultsingleprocessing圖7.故障單處理通過運維經(jīng)驗和對歷史工單進行機器學(xué)習、挖掘工單相關(guān)性規(guī)則，啟動策略歸并重復(fù)工單，去除無效工單。3.2.2 任務(wù)及資源調(diào)度對于外部系統(tǒng)派發(fā)的TT單，在某些應(yīng)用場景下，不需要相關(guān)分析處理，可以直接派發(fā)至外場工程師處進行解決。對于這種應(yīng)用場景，系統(tǒng)提供TT單自動受理并派發(fā)子單的功能。當系統(tǒng)接收到TT單時，自動以系統(tǒng)超級用戶來受理TT單，然后

16、進行處理，在處理該步驟時可自動選擇生成W集，并生成子單。智能調(diào)度主要是將任務(wù)通過AI調(diào)度引擎進行工單計劃制訂、位置及路線規(guī)劃、員工能力及工具需求分析，把任務(wù)與資源相結(jié)合達到最佳匹配效果。通過人員調(diào)度、資源調(diào)度、路徑規(guī)劃等可實現(xiàn)工單“零”時間指派、合理安排人員工作任務(wù)量，提升派單準確率、提升平均工單響應(yīng)時長及資源使用效率。3.2.3 自動巡檢管理自動巡檢管理主要涉及巡檢配置管理、巡檢規(guī)則管理、巡檢任務(wù)列表、指令適配/執(zhí)行及自動輸出巡檢報告功能。口一團一也一衣一©電子運維巡檢il劃巡檢執(zhí)行結(jié)果分析隙患管理Figure 8. automaticinspectionmanagement圖8.

17、自動巡檢管理巡檢配置管理包括基礎(chǔ)數(shù)據(jù)配置管理、設(shè)備網(wǎng)元配置管理、任務(wù)/方案管理及門限管理/通知管理。巡檢規(guī)則管理是為制定相關(guān)巡檢規(guī)則（專業(yè)網(wǎng)信息、作業(yè)計劃）等以及配置解析規(guī)則。巡檢任務(wù)列表可對巡檢計劃接口定義、巡檢定時任務(wù)、巡檢任務(wù)列表查看。指令適配及執(zhí)行由自動巡檢功能發(fā)現(xiàn)維護類問題，通過模板初始化規(guī)則及指令創(chuàng)建規(guī)則生成巡檢測試工單，再與指令模板進行匹配映射創(chuàng)建巡檢任務(wù)，指令執(zhí)行后將指令結(jié)果反饋閉環(huán)輸出巡檢報告。自動巡檢指令結(jié)果任務(wù)澗堂/指寺模板巡檢仟務(wù)Figure 9. automaticinspectionprocess圖9.自動巡檢流程將相關(guān)維護要求結(jié)合站點資產(chǎn)信息；歷史數(shù)據(jù)包含告警次數(shù)

18、、故障處理次數(shù)、站點話務(wù)量、數(shù)據(jù)量等信息；地理位置、區(qū)域、地形特征（高山、平原、河岸、洼地等）、耐候性；氣象機構(gòu)輸出的相關(guān)天氣數(shù)據(jù)，共同制定動態(tài)巡檢計劃，聚焦故障高發(fā)站點，主動預(yù)防歷史故障重發(fā)，減少維護資源的浪費。3.2.4隱患管理隱患管理主要針對異常項目生成智能巡檢告警，自動完成對告警信息的分析，自動生成維護作業(yè)計劃告警工單，維護人員根據(jù)隱患工單來處理隱患問題。2k賀州看餐運維索戛.單巾網(wǎng)工*£1-AbilA.pta4Jf4hflt494,MVB-fl餐押AMApKiW"111'A.，m，F(xiàn)igure 10. intelligentinspection圖10.智能

19、巡檢在巡檢設(shè)備上(鐵塔、基站等)，放置NFC(NearFieldCommunication)標簽，通過近距離無線通訊技術(shù)，巡檢人員按照路線的設(shè)置，依次到每個地點進行巡檢，自動顯示巡檢內(nèi)容并根據(jù)需求填寫巡檢的內(nèi)容。04端到端運維軟件架構(gòu)-j工m學(xué)L乂打冏學(xué)總下首中I：¥一.，:電有誣隹u融合.旺中,1江市交S5M必先平囪站士吊潴帶搭模塊業(yè)勞處理哈懸首強州努建續(xù)西港里北余原埃業(yè)務(wù)星擊中用科Spring-SfpBngMWyhatisShiarGeoSenFarduartsRedisActiveMO域據(jù)存yTr后仁業(yè)美妙摟MviXI代加臺當床知識座H陶工尸附菰rLlFigure11.endt

20、oendoperationsoftwarearchitecture原始姓檸圖11.端到端運維軟件架構(gòu)端到端運維系統(tǒng)軟件架構(gòu)主要包括5個部分，原始數(shù)據(jù)、數(shù)據(jù)ETL(Extract-Transform-Load)、數(shù)據(jù)存儲和后臺業(yè)務(wù)處理、業(yè)務(wù)處理控制、業(yè)務(wù)展現(xiàn)層。其中原始數(shù)據(jù)可通過北向平臺、EOMSC單系統(tǒng)、代維資產(chǎn)管理系統(tǒng)、動環(huán)檢測系統(tǒng)及外部相關(guān)API接口數(shù)據(jù)(地理天氣數(shù)據(jù)信息)。通過數(shù)據(jù)ETL處理用來將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、交互轉(zhuǎn)換(transform)、加載(load)至目的端，從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中

21、去。將相關(guān)數(shù)據(jù)存儲至Hadoop集群中，通過AI平臺算法及功能(聚類算法、常規(guī)分類算法、異常檢測算法、深度置信網(wǎng)絡(luò)、堆疊自動編碼器、循環(huán)神經(jīng)網(wǎng)絡(luò)等)結(jié)合專家知識庫進行智能任務(wù)調(diào)度及后臺業(yè)務(wù)處理。業(yè)務(wù)處理控制主要細化各模塊功能，通過相關(guān)業(yè)務(wù)邏輯中間件實現(xiàn)模塊功能。業(yè)務(wù)展現(xiàn)層，基于前端公共模塊相關(guān)技術(shù)對站點畫像、區(qū)域畫像、隱患管理、地理化分析等界面化呈現(xiàn)。05基于AI的運維實施應(yīng)用10.1 點畫像通過學(xué)習借鑒互聯(lián)網(wǎng)用戶畫像技術(shù)，基于多維網(wǎng)絡(luò)運維數(shù)據(jù)，引入AI特征畫像和異常檢測算法、輸出網(wǎng)絡(luò)特征的站點畫像，為智能運維各模塊提供全景式特征畫像和數(shù)據(jù)支撐，實現(xiàn)隱患站點分級標簽化。整合系統(tǒng)自身大量的多渠道

22、、多維度的基礎(chǔ)數(shù)據(jù)作為輸入，通過無監(jiān)督學(xué)習算法進行聚類及異常檢測，輸出具有網(wǎng)絡(luò)特征的站點畫像標簽及指標異常站點列表。(1)站點健康度評估基于站點設(shè)備種類、性能情況結(jié)合站點環(huán)境、停電情況、備電時長、站點歷史故障等信息建立站點健康度評估指標體系，并設(shè)定告警閾值自動觸發(fā)維護工單，并有效預(yù)警，降低站點告警故障。Figure12.sitehealthassessment圖12.站點健康度評估(2)區(qū)域可視化采用多種代維指標和站點客觀運行指標，可以實現(xiàn)區(qū)域綜合可視化，以區(qū)域為對象，提供整體指標統(tǒng)計分析，用于運維提升支撐Figure13.Tableevaluationofregionalindicators

23、圖13.區(qū)域指標評估評估(3)站點維護成本分析通過對歷史故障維護數(shù)據(jù)包括維護人員、車輛、油機、故障發(fā)生頻率等信息提供站點維護成本數(shù)據(jù)；為過程成本量化、站點維護預(yù)算及后續(xù)投標成本核算提供數(shù)據(jù)支撐。利用AI算法實現(xiàn)告警智能分類，針對具體故障提供智能決策，指導(dǎo)運維人員故障處理，建立員工與工單之間的映射，實現(xiàn)工單精準指派，減少工單派發(fā)數(shù)量，提升工單派發(fā)質(zhì)量，同時關(guān)聯(lián)APP縮短故障恢復(fù)時長。達到“降本增效”的目的Figure14.Maintenanceprocessmanagement圖14.維護過程管理(4)制定站點維護計劃基于站點重要級別、歷史故障信息、天氣狀況等制定維護計劃；對維護備件提供預(yù)測管理

24、并減少站點故障率，降低單站維護成O鹿田E：Figure15.Sitemaintenanceplanmanagement圖15.站點維護計劃管理5.2運維效率分析(1)GIS資產(chǎn)全景圖對資源信息(人員、車輛、站點、油機)進行實時位置展示,工單關(guān)聯(lián)、軌跡回放；實時了解資源狀況，方便調(diào)度管理。Figure16.GISassetpanorama圖16,GIS資產(chǎn)全景圖(2)“賽馬Dashboard通過現(xiàn)場大屏監(jiān)控對項目基礎(chǔ)維護信息、人員效率指標、車輛效率指標、油機效率指標進行實時和趨勢分析呈現(xiàn)，監(jiān)控中心隨時了解項目整體效率情況及區(qū)域賽馬情況。I-富巾SMAUdmilr."i二時觸觸E一MUMfrr&FKdRi*NM1lljjllllll*蕾*¥*承*ax*55iuidK6