大數(shù)據(jù)管理與應(yīng)用概論 課件 8.2 應(yīng)用案例-數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)與異常檢測(cè)

8.2應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)與異常檢測(cè)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)（五）以數(shù)字化智能化電網(wǎng)支撐新型電力系統(tǒng)建設(shè)。提高負(fù)荷預(yù)測(cè)精度和新型電力負(fù)荷智能管理水平，推動(dòng)負(fù)荷側(cè)資源分層分級(jí)分類聚合及協(xié)同優(yōu)化管理，加快推動(dòng)負(fù)荷側(cè)資源參與系統(tǒng)調(diào)節(jié)?！秶?guó)家能源局關(guān)于加快推進(jìn)能源數(shù)字化智能化發(fā)展的若干意見(jiàn)》，2023年3月28日負(fù)荷預(yù)測(cè)是指從已知的電力系統(tǒng)、經(jīng)濟(jì)、社會(huì)、氣象等因素出發(fā)，通過(guò)對(duì)歷史數(shù)據(jù)的分析和研究，探索各因素之間的內(nèi)在聯(lián)系和發(fā)展變化規(guī)律，對(duì)負(fù)荷的發(fā)展做出預(yù)先估計(jì)和推測(cè)。影響因素的不確定性導(dǎo)致負(fù)荷規(guī)律難以把握負(fù)荷預(yù)測(cè)模型的質(zhì)量直接關(guān)乎預(yù)測(cè)準(zhǔn)確度的高低信息不完整影響負(fù)荷預(yù)測(cè)準(zhǔn)確度的因素針對(duì)不同的預(yù)測(cè)目的，負(fù)荷預(yù)測(cè)按照預(yù)測(cè)期限的不同劃分。長(zhǎng)期預(yù)測(cè)中期預(yù)測(cè)短期預(yù)測(cè)超短期預(yù)測(cè)負(fù)荷預(yù)測(cè)的概念應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)不確定性時(shí)間性多方案性電能屬于瞬時(shí)能源，難以像化石能源大量長(zhǎng)期儲(chǔ)存。因此電力負(fù)荷預(yù)測(cè)應(yīng)保證電力的消費(fèi)和生產(chǎn)在同一階段進(jìn)行。電力負(fù)荷是波動(dòng)變化的，這種變化呈現(xiàn)周期性和連續(xù)性的特點(diǎn)，而時(shí)間是電力負(fù)荷預(yù)測(cè)最顯著的影響因素之一。電力負(fù)荷預(yù)測(cè)是一項(xiàng)長(zhǎng)期性工作，需要通過(guò)多種預(yù)測(cè)方法的實(shí)踐，找尋出最符合實(shí)際情況、預(yù)測(cè)精度最高的預(yù)測(cè)結(jié)果。負(fù)荷預(yù)測(cè)還受到季節(jié)、溫度、天氣等因素的影響，因此在實(shí)際應(yīng)用中需要將各類影響因素與先進(jìn)預(yù)測(cè)方法結(jié)合起來(lái)綜合考慮。負(fù)荷預(yù)測(cè)的特點(diǎn)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)負(fù)荷預(yù)測(cè)的基本流程負(fù)荷曲線聚類分析。對(duì)影響負(fù)荷的因素進(jìn)行關(guān)聯(lián)度排序。找到分類結(jié)果與關(guān)鍵影響因素間的耦合關(guān)系,建立分類規(guī)則。將關(guān)鍵因素日特征向量輸入決策樹模型，輸出分類結(jié)果。訓(xùn)練預(yù)測(cè)模型，選取匹配的預(yù)測(cè)模型完成負(fù)荷預(yù)測(cè)。計(jì)算系統(tǒng)負(fù)荷測(cè)試值。123456應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)長(zhǎng)期負(fù)荷預(yù)測(cè)是對(duì)未來(lái)五到十年或更長(zhǎng)時(shí)間的負(fù)荷趨勢(shì)進(jìn)行預(yù)測(cè)，為電網(wǎng)規(guī)劃和建設(shè)提供決策參考。外推法僅以負(fù)荷歷史數(shù)據(jù)為基礎(chǔ),分析得出其變化規(guī)律并將其外推，從而對(duì)未來(lái)的負(fù)荷發(fā)展進(jìn)行預(yù)測(cè)。彈性系數(shù)法曲線外推法灰色系統(tǒng)預(yù)測(cè)法相關(guān)分析法考慮社會(huì)、經(jīng)濟(jì)等因素對(duì)負(fù)荷發(fā)展的影響，通過(guò)建立負(fù)荷與影響因素之間的關(guān)系進(jìn)行預(yù)測(cè)。綜合產(chǎn)值電耗法回歸分析法長(zhǎng)期負(fù)荷預(yù)測(cè)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)中期負(fù)荷預(yù)測(cè)通常是以月度負(fù)荷數(shù)據(jù)預(yù)測(cè)為目標(biāo)，相比于長(zhǎng)期負(fù)荷預(yù)測(cè)，周期性更強(qiáng)，一年內(nèi)的各月通常具有規(guī)律性。按照年度發(fā)展序列構(gòu)成的預(yù)測(cè)方法

一般是單調(diào)序列，因此常用各種回歸曲線進(jìn)行預(yù)測(cè)。這類預(yù)測(cè)方法的優(yōu)點(diǎn)是數(shù)據(jù)的提取較為簡(jiǎn)單，預(yù)測(cè)模型的選擇空間較大，可以采用成熟的預(yù)測(cè)方法，缺點(diǎn)在于對(duì)新數(shù)據(jù)利用程度不夠。按照月度發(fā)展序列構(gòu)成的預(yù)測(cè)方法

將月度量看成一個(gè)連續(xù)變化的時(shí)間序列，其總變動(dòng)可分解為長(zhǎng)期趨勢(shì)變動(dòng)項(xiàng)、季節(jié)性變動(dòng)項(xiàng)和隨機(jī)擾動(dòng)項(xiàng)，如此可以將復(fù)雜的曲線分解為幾種典型模式，分別進(jìn)行預(yù)測(cè)，然后疊加。中期負(fù)荷預(yù)測(cè)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)主要是對(duì)未來(lái)15分鐘、1個(gè)小時(shí)的負(fù)荷趨勢(shì)進(jìn)行預(yù)測(cè)，預(yù)測(cè)精度和速度是影響電力系統(tǒng)各參與主體決策的重要因素。不同日之間24小時(shí)整體變化規(guī)律的相似性不同星期、同一星期類型日的相似性工作日/休息日各自具有相似性不同年度的重大節(jié)假日負(fù)荷曲線具有相似性周期性短期和超短期負(fù)荷預(yù)測(cè)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)時(shí)間序列預(yù)測(cè)法時(shí)間序列模型是經(jīng)典的、應(yīng)用廣泛的一類短期及超短期負(fù)荷預(yù)測(cè)方法。常用的時(shí)間序列模型有自回歸（AR）模型、移動(dòng)平均（MA）模型、自回歸移動(dòng)平均（ARMA）模型、整合移動(dòng)平均自回歸（ARIMA）模型。人工神經(jīng)網(wǎng)絡(luò)（ANN）方法對(duì)大量非結(jié)構(gòu)性、非精確性規(guī)律具有自適應(yīng)性，具有信息記憶、自主學(xué)習(xí)、知識(shí)推理和優(yōu)化計(jì)算的特點(diǎn)，這些優(yōu)勢(shì)使得其適合于電力負(fù)荷預(yù)測(cè)問(wèn)題，是在理論研究和實(shí)際應(yīng)用中均得到認(rèn)可的預(yù)測(cè)方法之一。兩類負(fù)荷預(yù)測(cè)方法應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)指導(dǎo)電價(jià)制定引導(dǎo)用戶分時(shí)用電促進(jìn)源-荷協(xié)調(diào)同步精準(zhǔn)的負(fù)荷預(yù)測(cè)結(jié)果能夠幫助電力部門及時(shí)獲取信息，根據(jù)供需變化制定電力定價(jià)制度，提高售電部門和用戶的共同利益，達(dá)到互利共贏的目標(biāo)。供電部門根據(jù)預(yù)測(cè)結(jié)果，在用電高峰時(shí)期提高電價(jià)，用電低谷時(shí)期降電價(jià)，引導(dǎo)用戶合理用電，達(dá)到對(duì)負(fù)荷曲線“削峰填谷”的作用，緩解電網(wǎng)壓力。發(fā)電端根據(jù)負(fù)荷預(yù)測(cè)結(jié)果，合理制定發(fā)電計(jì)劃，做到實(shí)際發(fā)電量與負(fù)荷需求盡可能匹配，進(jìn)而在源端合理控制發(fā)電企業(yè)成本，在荷端即時(shí)消納電能，提升環(huán)境友好度。負(fù)荷預(yù)測(cè)結(jié)果的應(yīng)用應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)異常檢測(cè)是指對(duì)不符合預(yù)期模式或數(shù)據(jù)集中其他項(xiàng)目的項(xiàng)目、事件或觀測(cè)值的識(shí)別。數(shù)據(jù)規(guī)模日益增大2018年底，國(guó)家電網(wǎng)公司累計(jì)智能電表招標(biāo)量達(dá)到了6.08億只，2019年全年國(guó)網(wǎng)公司智能電表招標(biāo)量達(dá)到了7721萬(wàn)只，同比增長(zhǎng)36.64%，采集的數(shù)量達(dá)到PB級(jí)別。電網(wǎng)規(guī)模日趨復(fù)雜

采集的電力數(shù)據(jù)不僅包括了設(shè)備各類異常信號(hào)、運(yùn)行過(guò)程中各類傳感器的狀態(tài)信息，同時(shí)還包含了大量的相關(guān)數(shù)據(jù)，這些數(shù)據(jù)時(shí)間密度大，結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)混雜，各類數(shù)據(jù)之間都可能存在隱含的相關(guān)性。

能源大數(shù)據(jù)異常檢測(cè)面臨嚴(yán)峻的挑戰(zhàn)！應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)特點(diǎn)能源供給設(shè)備的狀態(tài)監(jiān)測(cè)數(shù)據(jù)體量巨大多源異構(gòu)數(shù)據(jù)的相關(guān)性時(shí)間和空間屬性處理速度要求高價(jià)值密度低能源大數(shù)據(jù)異常檢測(cè)的特點(diǎn)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)

通過(guò)尋找與其他數(shù)據(jù)最不匹配的示例來(lái)檢測(cè)出標(biāo)記測(cè)試數(shù)據(jù)的異常。無(wú)監(jiān)督異常檢測(cè)

需要一個(gè)已經(jīng)被標(biāo)記“正?！迸c“異?！钡臄?shù)據(jù)集，并涉及到訓(xùn)練分類器。監(jiān)督式異常檢測(cè)

根據(jù)一個(gè)給定的正常訓(xùn)練數(shù)據(jù)集產(chǎn)，用來(lái)創(chuàng)建出一個(gè)表示正常行為的模型，然后檢測(cè)由學(xué)習(xí)模型生成的測(cè)試實(shí)例的可能性。半監(jiān)督式異常檢測(cè)方法異常檢測(cè)的常用方法應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)采集分析數(shù)據(jù)，篩選重載及過(guò)載嚴(yán)重線路和變壓器，加強(qiáng)關(guān)注。利用大數(shù)據(jù)異常檢測(cè)算法分析規(guī)律，實(shí)現(xiàn)有效預(yù)警。針對(duì)結(jié)構(gòu)化能源大數(shù)據(jù)的電異常檢測(cè)對(duì)數(shù)據(jù)的分布做出假設(shè)，并找出假設(shè)下所定義的“異?！?，因此往往會(huì)使用極值分析或者假設(shè)檢驗(yàn)?；诟怕式y(tǒng)計(jì)的異常檢測(cè)將數(shù)據(jù)集隨機(jī)劃分成多個(gè)子訓(xùn)練集，再在每個(gè)訓(xùn)練集上訓(xùn)練一個(gè)獨(dú)立的模型，最后綜合所有模型的結(jié)果。基于集成的異常檢測(cè)模型異常點(diǎn)因?yàn)楹驼｜c(diǎn)的分布不同，因此相似度較低，由此衍生了一系列算法，這些算法通過(guò)相似度來(lái)識(shí)別異常點(diǎn)?；谙嗨贫鹊漠惓z測(cè)假設(shè)數(shù)據(jù)是鑲嵌在低維子空間中的，則這些數(shù)據(jù)在低維空間上投影后表現(xiàn)不好的數(shù)據(jù)可以認(rèn)為是離散點(diǎn)?；诰€性模型的異常檢測(cè)負(fù)荷異常檢測(cè)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)信號(hào)檢測(cè)階段特征參數(shù)提取階段

各變電站對(duì)需要進(jìn)行檢測(cè)的電氣設(shè)備安裝聲音傳感器或利用巡檢機(jī)器人實(shí)時(shí)采集聲音信號(hào)。并在每個(gè)變電站內(nèi)設(shè)置一個(gè)多路信號(hào)采集站，負(fù)責(zé)采集全站的多路音頻數(shù)據(jù)，并通過(guò)有線、無(wú)線網(wǎng)絡(luò)傳送至遠(yuǎn)方的監(jiān)測(cè)中心。

基于聲音頻譜導(dǎo)出的參數(shù)將得到普遍關(guān)注，之后利用故障識(shí)別算法進(jìn)行判斷。主流的識(shí)別算法包括基于核的判別、神經(jīng)網(wǎng)絡(luò)、模糊分類、支持向量機(jī)、馬爾可夫模型等。診斷決策階段

對(duì)這些提取到的特征參數(shù)進(jìn)行模式識(shí)別。將特征提取過(guò)程所得到的特征參數(shù)序列通過(guò)已知模型庫(kù)進(jìn)行模式匹配。因此，相關(guān)模式匹配算法的優(yōu)劣也在很大程度上決定了故障診斷系統(tǒng)的準(zhǔn)確率。變電站異常檢測(cè)應(yīng)用案例：數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)基于圖像的異常檢測(cè)主要采用聚類算法、人工神經(jīng)網(wǎng)絡(luò)、分布式存儲(chǔ)技術(shù)、并行計(jì)算等方法，流程通常可以劃分為圖像提取與預(yù)處理，圖像識(shí)別/目標(biāo)檢測(cè)，和圖像處理三個(gè)階段。將原始圖像進(jìn)行校正、去噪、增強(qiáng)，以改善原始圖像質(zhì)量。一般可以采用典型的聚類算法，如K-Means等，對(duì)紅外熱成像圖像進(jìn)行提取。利用不同電氣設(shè)備的輪廓、邊界特征，設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)對(duì)現(xiàn)成采集的圖像進(jìn)行分類識(shí)別。將處理任務(wù)分