基于混合模態(tài)分解和LSTM-CNN的變壓器油中溶解氣體濃度預(yù)測(cè)

01研究方法1.1

混合模態(tài)分解混合模態(tài)分解（hybridmodedecomposition，HMD）由ICEEMDAN、樣本熵序列重構(gòu)和VMD構(gòu)成，如圖1所示。使用ICEEMDAN對(duì)時(shí)序數(shù)據(jù)進(jìn)行初步分解，再基于樣本熵對(duì)分解得到的子序列進(jìn)行重構(gòu)，對(duì)仍具有強(qiáng)非平穩(wěn)性的序列進(jìn)一步使用VMD分解。圖1

混合模態(tài)分解示意Fig.1

Schematicdiagramofhybridmodedecomposition1.1.1

ICEEMDAN原理2014年提出ICEEMDAN方法，該方法在解決模態(tài)混疊問(wèn)題的同時(shí)，消除了IMF分量中的殘余噪聲，對(duì)非平穩(wěn)復(fù)雜時(shí)間序列不同尺度特征具有更高的提取能力。引入EMD算子Ek(?)表示EMD分解產(chǎn)生的k階模態(tài)分量；N(?)表示信號(hào)的局部均值；w(i)表示負(fù)責(zé)分解的高斯白噪聲；x表示原始DGA序列；β表示白噪聲能量參數(shù)；k=1,2,?,K，其中K為最大迭代次數(shù)。ICEEMDAN算法的流程如下。（1）對(duì)原始DGA序列添加i組白噪聲w(i)，經(jīng)EMD分解后構(gòu)造序列x(i)=x+β0E(w(i))，計(jì)算一階殘差R1=(N(x(i)))。（2）用原始序列減去殘差得到一階模態(tài)分量，即（3）對(duì)一階殘差繼續(xù)添加白噪聲，與步驟（1）同理得到二階模態(tài)分量，即（4）依次計(jì)算k階殘差和k階模態(tài)分量，即（5）重復(fù)步驟（4）直到殘差不可再分或迭代次數(shù)k到達(dá)最大。1.1.2

基于樣本熵的序列重構(gòu)樣本熵（SampEn，SE）提出的用于衡量時(shí)間序列中新信息或新模式發(fā)生率的非線(xiàn)性動(dòng)力學(xué)參數(shù)。一個(gè)時(shí)間序列的樣本熵越大，該序列產(chǎn)生新模式或新信息的概率越高，序列越復(fù)雜越不平穩(wěn)；反之，樣本熵越小，序列越簡(jiǎn)單越平穩(wěn)。序列重構(gòu)方法定義如下。（1）設(shè)定樣本熵閾值為式中：i為分解分量數(shù)目；k為最大分解數(shù)目；SEi為分解分量的樣本熵。（2）視樣本熵高于閾值的分量為高復(fù)雜分量，對(duì)其進(jìn)行疊加，重構(gòu)為新分量。1.1.3

VMD原理VMD是一種自適應(yīng)、完全非遞歸的分解方法，該方法能夠自適應(yīng)地實(shí)現(xiàn)信號(hào)的頻域剖分及各分量的有效分離。相比ICEEMDAN方法，VMD可以自定義分解模態(tài)數(shù)目，且能夠分解得到較平穩(wěn)的分量，對(duì)噪聲有較強(qiáng)的魯棒性。VMD算法過(guò)程如下。構(gòu)造約束變分最優(yōu)問(wèn)題，可表示為式中：uk為各模態(tài)分量；ωk為各模態(tài)中心頻率；δ(t)為Dirac分布；t為時(shí)間；σt為對(duì)t的偏導(dǎo)；GIMF(t)為重構(gòu)后的ICEEMDAN分解高頻分量。引入二次懲罰因子α和拉格朗日懲罰算子，將式（5）轉(zhuǎn)換為無(wú)約束問(wèn)題，即利用交替方向乘子法進(jìn)行尋優(yōu)，求取最優(yōu)解，獲得VIMF分量。1.2

TA-LSTM-CNN網(wǎng)絡(luò)對(duì)經(jīng)過(guò)預(yù)處理的DGA氣體序列，首先輸入LSTM網(wǎng)絡(luò)提取特征并進(jìn)行編碼，同時(shí)該特征編碼通過(guò)時(shí)間注意力機(jī)制以增強(qiáng)時(shí)間特征；之后使用CNN網(wǎng)絡(luò)進(jìn)一步提取序列的局部趨勢(shì)特征，經(jīng)池化層減少參數(shù)或冗余特征的數(shù)量；最后通過(guò)全連接層輸出預(yù)測(cè)結(jié)果。TA-LSTM-CNN網(wǎng)絡(luò)的完整模型結(jié)構(gòu)如圖2所示。圖2

TA-LSTM-CNN網(wǎng)絡(luò)示意Fig.2

SchematicdiagramofTA-LSTM-CNNnetwork1.2.1

TA-LSTM網(wǎng)絡(luò)引入注意力機(jī)制，建立TA-LSTM網(wǎng)絡(luò)提高LSTM網(wǎng)絡(luò)的記憶能力。TA-LSTM網(wǎng)絡(luò)中編碼器和解碼器均采用LSTM，使用LSTM編碼器對(duì)氣體序列的歷史信息編碼，然后通過(guò)注意力機(jī)制對(duì)其匹配不同的概率權(quán)重，再用LSTM解碼器提取當(dāng)前時(shí)刻與長(zhǎng)期歷史時(shí)刻的關(guān)系，從而增強(qiáng)對(duì)關(guān)鍵歷史信息的挖掘。時(shí)間注意力LSTM模型的原理如圖3所示。圖3

TA-LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.3

TA-LSTMnetworkstructure式中：h和d為隱藏狀態(tài)量；e為注意力權(quán)重；x為L(zhǎng)STM解碼器輸入；y為真實(shí)值；為預(yù)測(cè)值；s為歷史信息；c為中間變量；fLSTM為L(zhǎng)STM層；V、W、w分別為各層權(quán)重矩陣；b是偏置參數(shù)。通過(guò)LSTM編碼器對(duì)預(yù)處理后的氣體序列數(shù)據(jù)進(jìn)行編碼，得到時(shí)序隱藏變量序列hk。結(jié)合上一時(shí)刻LSTM解碼器的隱藏變量dt?1、門(mén)控單元中的歷史信息st?1和當(dāng)前時(shí)刻的LSTM編碼器隱藏變量ht計(jì)算注意力權(quán)重et，et經(jīng)softmax函數(shù)后與hk加權(quán)得到中間變量ct。含綜合時(shí)序信息的ct回饋到LSTM解碼器，結(jié)合真實(shí)值yt計(jì)算當(dāng)前時(shí)刻的dt，并得到下一時(shí)刻的輸出預(yù)測(cè)值。1.2.2

CNN網(wǎng)絡(luò)CNN網(wǎng)絡(luò)采用局部連接和權(quán)重共享的方式，對(duì)原始數(shù)據(jù)進(jìn)行更高層次和更抽象的處理，能夠有效自動(dòng)提取數(shù)據(jù)中的深層特征。其主要由卷積層、池化層和全連接層等組成，此結(jié)構(gòu)減少了權(quán)重的數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度。本文結(jié)合卷積網(wǎng)絡(luò)和時(shí)間注意力LSTM網(wǎng)絡(luò)，進(jìn)一步提取序列的隱藏空間特征。02變壓器油中溶解氣體預(yù)測(cè)模型本文結(jié)合混合模態(tài)分解和TA-LSTM-CNN網(wǎng)絡(luò)所提出的預(yù)測(cè)模型過(guò)程如圖4所示。圖4

溶解氣體預(yù)測(cè)模型Fig.4

Predictionmodelofdissolvedgas為驗(yàn)證模型預(yù)測(cè)效果，使用均方根誤差RMSE、平均絕對(duì)百分比誤差MAE和平均絕對(duì)誤差MAPE作為模型評(píng)價(jià)指標(biāo)。詳細(xì)表達(dá)式為式中：分別為真實(shí)值和預(yù)測(cè)值。

03算例分析本文在2組實(shí)例數(shù)據(jù)上進(jìn)行驗(yàn)證，實(shí)驗(yàn)編程環(huán)境為Python、Keras深度學(xué)習(xí)框架，硬件平臺(tái)為AMDRyzen75800HCPU，采用NVIDIAGeForceGTX1650GPU進(jìn)行加速。3.1

算例1選擇某750kV變電站主變壓器油色譜在線(xiàn)監(jiān)測(cè)裝置在2010-03-11—2012-12-05共1000天的監(jiān)測(cè)數(shù)據(jù)，包含H2、CH4、C2H4、CO、CO25種DGA氣體，采樣間隔為1天。經(jīng)過(guò)分解后按8∶2劃分訓(xùn)練集和測(cè)試集，即前800天來(lái)訓(xùn)練模型，后200天進(jìn)行測(cè)試。限于篇幅，本文以C2H4為例分析。3.1.1

氣體序列的混合模態(tài)分解首先，對(duì)C2H4氣體序列進(jìn)行ICEEMDAN初次分解，得到6個(gè)CIMF分量和一個(gè)RES余項(xiàng)如圖5所示。觀(guān)察各分量曲線(xiàn)，高頻分量CIMF1~CIMF3比其他分量更加復(fù)雜。計(jì)算各分量樣本熵如表1所示，可以看出高頻分量的樣本熵甚至出現(xiàn)高于原始序列的情況，這說(shuō)明高頻分量仍有較高的復(fù)雜度。對(duì)各分量進(jìn)行預(yù)測(cè)，其結(jié)果如圖6所示。對(duì)比低頻分量，高頻分量的擬合度很不理想。這類(lèi)高頻分量因仍存在較強(qiáng)的非平穩(wěn)性和非線(xiàn)性而難以預(yù)測(cè)，是總體預(yù)測(cè)誤差的主要來(lái)源。因此，需要對(duì)高頻分量進(jìn)一步分解，降低序列預(yù)測(cè)難度。使用VMD對(duì)高頻分量進(jìn)行再次分解，可以獲得較平穩(wěn)分量，并能夠自定義分解分量數(shù)目。圖5

初次分解結(jié)果Fig.5

Primarydecompositionresults

表1

ICEEMDAN初次分解效果Table1

PrimarydecomposedcomponentswithICEEMDAN圖6

一次分解分量預(yù)測(cè)效果Fig.6

Predictioneffectofprimarydecomposedcomponents原始序列經(jīng)過(guò)2次分解，會(huì)產(chǎn)生較多的分解分量；隨著分解分量數(shù)的增加，各分量的預(yù)測(cè)誤差也隨之累積，預(yù)測(cè)耗時(shí)也會(huì)增加。因此，對(duì)初次分解的高頻分解依據(jù)式（4）進(jìn)行聚合重構(gòu)，再對(duì)聚合后的重構(gòu)分量進(jìn)行VMD分解。最終使分量數(shù)目由21條降為11條，減少了誤差的累積，降低了預(yù)測(cè)耗時(shí)。采用改進(jìn)的蟻獅優(yōu)化（IALO）算法對(duì)VMD分解數(shù)目K和懲罰因子α進(jìn)行尋優(yōu)。優(yōu)化后的分解數(shù)目K和懲罰因子α分別為7和124。VMD分解結(jié)果如圖7所示，計(jì)算重構(gòu)分量和其VMD分解分量的樣本熵如表2所示，分解各分量預(yù)測(cè)結(jié)果如圖8所示。由表2和圖8可知，序列的復(fù)雜度有效降低，能夠被更好地預(yù)測(cè)。圖7

二次分解結(jié)果Fig.7

Quadraticdecompositionresults表2

VMD二次分解效果Table2

VMDquadraticdecomposedcomponents圖8

高頻分量二次分解預(yù)測(cè)效果Fig.8

Predictioneffectofhighfrequencycomponentquadraticdecomposition3.1.2

TA-LSTM-CNN預(yù)測(cè)對(duì)混合分解得到的各模態(tài)分量進(jìn)行歸一化，提高預(yù)測(cè)模型的數(shù)據(jù)學(xué)習(xí)效率。式中：x′為歸一化后的數(shù)據(jù)；x、xmin和xmax分別為原數(shù)據(jù)、原數(shù)據(jù)的最小值和最大值。建立TA-LSTM-CNN預(yù)測(cè)模型，對(duì)歸一化后的HIMF分量分別進(jìn)行預(yù)測(cè)。使用IALO算法對(duì)TA-LSTM-CNN的網(wǎng)絡(luò)超參數(shù)進(jìn)行尋優(yōu)。TA-LSTM-CNN網(wǎng)絡(luò)的優(yōu)化結(jié)果：LSTM神經(jīng)元個(gè)數(shù)、卷積核數(shù)目、Epoch和Batch_size分別為50、128、90和88。3.1.3

結(jié)果分析對(duì)C2H4序列各分量預(yù)測(cè)結(jié)果進(jìn)行疊加重構(gòu)，得到最終預(yù)測(cè)結(jié)果。為驗(yàn)證本文方法的有效性，采用LSTM、TA-LSTM-CNN和一次分解的CEEMDAN-TA-LSTM-CNN與本文提出的HMD-TA-LSTM-CNN模型進(jìn)行對(duì)比，對(duì)C2H4的預(yù)測(cè)效果曲線(xiàn)如圖9所示。圖9

算例1預(yù)測(cè)結(jié)果Fig.9

Predictionresultsofexample1由圖9可知，單一的LSTM模型在具有強(qiáng)非平穩(wěn)性的氣體序列上的表現(xiàn)較差。模型雖然學(xué)習(xí)到了整體趨勢(shì)，但預(yù)測(cè)曲線(xiàn)只有中部擬合較好，前后部分都與實(shí)際值有較大的上下波動(dòng)。而TA-LSTM-CNN模型憑借更好的特征提取能力，同時(shí)學(xué)習(xí)到了序列趨勢(shì)與波動(dòng)，但TA-LSTM-CNN模型預(yù)測(cè)曲線(xiàn)與實(shí)際曲線(xiàn)仍存在明顯的偏移。分解的方法很好地解決了使用LSTM架構(gòu)的模型存在的時(shí)序偏移問(wèn)題?；诜纸獾脑?，正是高頻分量的疊加組成了序列中的突變落差。由于對(duì)高頻分量預(yù)測(cè)的較大誤差，使得一次分解模型對(duì)曲線(xiàn)的突變峰值預(yù)測(cè)效果欠佳。對(duì)高頻分量聚合后再次分解，降低了分量的預(yù)測(cè)難度，使得總體預(yù)測(cè)效果提升。對(duì)比一次分解模型，混合分解預(yù)測(cè)模型在序列突變段的偏離程度最低，更好地?cái)M合了序列的突變峰值，同時(shí)解決了時(shí)序偏移問(wèn)題。算例1各油色譜特征氣體不同模型的預(yù)測(cè)效果對(duì)比如表3所示。由表3可知，LSTM模型的RMSE、MAE和MAPE指標(biāo)均最大，精度最差。TA-LSTM-CNN模型相比LSTM模型RMSE提升了33%，MAE提升了35%，MAPE提了36%。一次分解相對(duì)直接預(yù)測(cè)模型RMSE提升了30%，MAE提升了27%，MAPE提了26%。本文方法相對(duì)一次分解RMSE提升了17%，MAE提升了21%，MAPE提了21%。本文方法整體預(yù)測(cè)效果相對(duì)傳統(tǒng)單一LSTM模型，提高了近60%，顯著提高了對(duì)氣體序列的預(yù)測(cè)性能。表3

算例1多種預(yù)測(cè)模型效果評(píng)估Table3

Effectevaluationofmultiplepredictionmodelsofexample13.2

算例2正常運(yùn)行的變壓器因?yàn)樘厥夤r和復(fù)雜的環(huán)境因素，其油中溶解氣體本就具有較強(qiáng)的非線(xiàn)性和非平穩(wěn)性，而發(fā)生故障的變壓器還存在更多的突變和異常的變化趨勢(shì)。選取某電廠(chǎng)500kV主變壓器油色譜在線(xiàn)監(jiān)測(cè)裝置在2014-06-27—2017-03-23共1000天的監(jiān)測(cè)數(shù)據(jù)，包含H2、CH4、C2H6、C2H2、C2H45種DGA氣體，采樣間隔為1天。其中，從2017-01-04開(kāi)始，該變壓器發(fā)生低溫潛伏故障，油中溶解氣體出現(xiàn)較大波動(dòng)。同算例1，按8∶2劃分訓(xùn)練集和測(cè)試集，并以C2H6為例展開(kāi)分析。3.2.1

結(jié)果分析圖10為C2H6氣體預(yù)測(cè)結(jié)果。由圖10可以看到，實(shí)際值曲線(xiàn)在100天左右出現(xiàn)突變波動(dòng)，對(duì)應(yīng)了變壓器開(kāi)始發(fā)生低溫潛伏故障。LSTM和TA-LSTM-CNN模型雖然能捕捉到突變趨勢(shì)，但仍然存在時(shí)序偏移問(wèn)題。圖10

算例2預(yù)測(cè)結(jié)果Fig.10

Predictionresultsofexample2本文方法相對(duì)一次分解方法，在解決偏移問(wèn)題的同時(shí)，能更好捕捉序列突變波動(dòng)，掌握油中氣體的變化趨勢(shì)，對(duì)故障狀況下序列異常變化的預(yù)測(cè)更加準(zhǔn)確。算例2各油色譜特征氣體不同模型的預(yù)測(cè)效果對(duì)比如表4所示。由表4可以看出，本文方法整體預(yù)測(cè)性能較LSTM、TA-LSTM-CNN和CEEMDAN-TA-LSTM-CNN模型分別提升了近50%、40%和18%。此算例驗(yàn)證了本文方法能夠提取氣體序列在未發(fā)生故障前的隱藏趨勢(shì)，實(shí)現(xiàn)對(duì)故障突變數(shù)據(jù)的有效預(yù)測(cè)。

表4

算例2多種預(yù)測(cè)模型效果評(píng)估Table4

Effectevaluationofmultiplepredic