智能建造概論-裝配式建筑工程技術(shù)專42課件講解

智能建造概論裝配式建筑工程技術(shù)專業(yè)教學(xué)資源庫功能模塊層模塊六—智能運維主講人：在智能運維（AIOps）平臺落地的實踐中，算法和數(shù)據(jù)的融合，第一步是數(shù)據(jù)的采集和匯聚，通過前文介紹的關(guān)鍵技術(shù)，我們已經(jīng)獲得了質(zhì)量標(biāo)準(zhǔn)歸一化的、經(jīng)過了提取和轉(zhuǎn)換的、時間/空間/業(yè)務(wù)維度標(biāo)記清楚的數(shù)據(jù)，需要補充的是數(shù)據(jù)預(yù)處理相關(guān)的核心要點。功能模塊在數(shù)據(jù)挖掘中，海量原始數(shù)據(jù)中存在大量不完整(有缺失值)、不一致或有異常的數(shù)據(jù)，嚴重影響到數(shù)據(jù)挖掘建模的執(zhí)行效率，甚至可能導(dǎo)致挖掘結(jié)果的偏差。數(shù)據(jù)預(yù)處理的目的是提高數(shù)據(jù)質(zhì)量，從而提升數(shù)據(jù)挖掘的質(zhì)量。方法包括數(shù)據(jù)清洗、數(shù)據(jù)集成和轉(zhuǎn)換，以及數(shù)據(jù)歸約。1、數(shù)據(jù)預(yù)處理通過數(shù)據(jù)預(yù)處理，可以去掉數(shù)據(jù)中的噪音，糾正不一致；數(shù)據(jù)集成將數(shù)據(jù)由多個源合并成一致的數(shù)據(jù)存儲，如數(shù)據(jù)倉儲或數(shù)據(jù)立方；數(shù)據(jù)變換(如規(guī)范化)也可以使用，例如規(guī)范化可以改進涉及距離度量的挖掘算法的精度和有效性；數(shù)據(jù)規(guī)約可以通過合并、刪除冗余特征或聚類來壓縮數(shù)據(jù)。這些數(shù)據(jù)處理技術(shù)在數(shù)據(jù)挖掘之前使用，可以大大提高數(shù)據(jù)挖掘模式的質(zhì)量，降低實際挖掘所需要的時間。1、數(shù)據(jù)預(yù)處理需要注意，有些算法對異常值非常敏感。任何依賴均值/方差的算法都對離群值敏感，因為這些統(tǒng)計量受極值的影響極大。另一方面，一些算法對離群點具有更強的魯棒性。數(shù)據(jù)分析中的描述性統(tǒng)計分析認為：當(dāng)我們面對大量信息的時候，經(jīng)常會出現(xiàn)數(shù)據(jù)越多，事實越模糊的情況，因此我們需要對數(shù)據(jù)進行簡化，描述統(tǒng)計學(xué)就是用幾個關(guān)鍵的數(shù)字來描述數(shù)據(jù)集的整體情況。1、數(shù)據(jù)預(yù)處理在智能運維（AIOps）算法分析系統(tǒng)中，不同算法對應(yīng)不同的適配場景，需要根據(jù)數(shù)據(jù)特征模式來選擇合適的算法應(yīng)用。如指標(biāo)異常算法的應(yīng)用：針對周期穩(wěn)定的數(shù)據(jù)，我們采取動態(tài)極限的模型；針對周期不穩(wěn)定的數(shù)據(jù)，采用頻域分析的模型；針對穩(wěn)定的數(shù)據(jù)采用極限閾值判斷的模型。通過模型選擇的算法，對于相同的數(shù)據(jù)的模型進行適配，達到最優(yōu)的效果。2、算法工程集成因此，想要以開箱即用的方式、采用某種標(biāo)準(zhǔn)的機器學(xué)習(xí)算法直接應(yīng)用，而不考慮業(yè)務(wù)特征，通常并不可行。2、算法工程集成我們需要首先考慮該組業(yè)務(wù)指標(biāo)間的關(guān)聯(lián)性，如果有應(yīng)用或系統(tǒng)間的調(diào)用鏈或調(diào)用拓撲供參考，這是最好不過的。如果沒有調(diào)用鏈或拓撲，則需要先根據(jù)已知可能的業(yè)務(wù)相關(guān)性，進行曲線波動關(guān)聯(lián)、回歸分析等算法分析，獲得極限閾值嘗試得到因果匹配，通過一系列的事件歸集得到相關(guān)性，再對每一次反饋進行適應(yīng)，嘗試自動匹配更為準(zhǔn)確的算法和參數(shù)，才可能達到期望的異常檢測目標(biāo)。2、算法工程集成智能運維的工程化過程，是一個算法、算力與數(shù)據(jù)相結(jié)合，平臺自身與業(yè)務(wù)系統(tǒng)反饋相結(jié)合的復(fù)雜過程。在與業(yè)務(wù)場景結(jié)合的前提下，靈活的算