基于自編碼器和LSTM的模型降階方法

1、基于自編碼器和LSTM的模型降階方法摘要：自編碼器是一種有效的數(shù)據(jù)降維方法，可以學(xué)習(xí)到數(shù)據(jù)中的隱含特征，并重構(gòu)出原始輸入數(shù)據(jù)本文提出 了一種基于多層自編碼器和長短期記憶網(wǎng)絡(luò)的模型降階方法，以提升降階模型的精度文中以二維圓柱繞流為 例，對該方法進行了分析與驗證首先用多層自編碼器對原始數(shù)據(jù)進行降階和特征提取，然后構(gòu)建基于長短期記 憶網(wǎng)絡(luò)的預(yù)測模型，最后將自編碼器和預(yù)測模型拼接并進行微調(diào)，得到降階模型，并將其與基于主成分分析的降階 模型進行對比結(jié)果表明，多層自編碼器能在保證精度的同時提升數(shù)據(jù)壓縮率&提出的降階方法有效地提升了模 型精度，使得預(yù)測速度場和原速度場之間的均方根誤差降低至3X1O3左右%關(guān)

2、鍵詞：降階模型&多層自編碼器&長短期記憶&圓柱繞流Reduced order model based on autoencoder andlong shorlerm memory networkAbstract: Autoencoder is an effect i ve dimensionality reduct i on method that can learn the hidden information and features implicated in the data， and reconstruct the orig ina l input data. We propose

3、a model reduction method with improved accuracy based on a multilayer autoencoder and a long short-term memory network. The method is analyzed and verified through a two- d imensiona l flow past a cyiinder. Firstly，the mult -layer autoencoder is used to reduce the order and extract features of the o

4、riginal data. Then， a prediction model based on a long shoreterm memory network ?s establshed.At last，the autoencoder and the predcton model are splced ?nto a single network to obtain a finetuned reduced order model. This mode l is further compared with another one based on the principal component a

5、nalyss. Results show that the mu l ii- l ayer autoencoder can improve the data compression ratio whie ensuring the accuracy.The proposed reduced order method can effectively improve the model accuracy since the root mean square error between the predicted and the or i g i nal velocity fields i s red

6、uced to w i th i n 3 X 1O-3.Keywords: reduced order model & mult-layer autoencoder & long shoreterm memory； flow past a cylndero引言在計算流體力學(xué)領(lǐng)域中，數(shù)值模擬是解決科研問 題和實現(xiàn)工程應(yīng)用的重要工具然而，進行復(fù)雜系統(tǒng) 的高精度數(shù)值模擬需要耗費大量的計算資源和時間 為了解決這一問題，Dowell(1、Silva等提出了基于 數(shù)值模擬構(gòu)造降階模型(Reduced Order Model， ROM)的思路，能夠在保證計算精度的同時，有效地 節(jié)省計算成本自提出以來，降階模

7、型的相關(guān)研究已 經(jīng)取得了一定的進展(3)%近年來，深度學(xué)習(xí)技術(shù)在基 因?qū)W山、圖像分類!.、疾病診斷!3等許多領(lǐng)域得到了 廣泛應(yīng)用$隨著相關(guān)技術(shù)的不斷發(fā)展，深度學(xué)習(xí)也開 始在流體力學(xué)領(lǐng)域中嶄露頭角深度學(xué)習(xí)能從數(shù) 據(jù)中學(xué)習(xí)到相應(yīng)的隱藏信息和特征，使其在學(xué)習(xí)非線 性系統(tǒng)的多級表征和數(shù)據(jù)預(yù)測方面有著強大的優(yōu)勢$ 結(jié)合深度學(xué)習(xí)構(gòu)建降階模型也逐漸成為一個新的研 究熱點$在現(xiàn)有的結(jié)合深度學(xué)習(xí)的降階模型中，深度學(xué)習(xí) 主要被應(yīng)用于未來時刻流場的預(yù)測，即輸入過去的一 個或多個時刻的流場數(shù)據(jù)，輸出未來時刻的流場$考 慮到流場中離散點的數(shù)量，為了使數(shù)據(jù)便于處理并降 低神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，通常會先采用主成分分析 (Pri

8、nciple Component Analysis% PCA)/本征正交分 解(Proper Orthogonal Decomposition, POD)對數(shù)據(jù) 進行降維$ Wang等在燃燒器的模型降階中成功 應(yīng)用了前饋神經(jīng)網(wǎng)絡(luò)對POD基系數(shù)進行回歸建模$ 在神經(jīng)網(wǎng)絡(luò)中，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)和長短期記憶(Long Short-Term Memory, LSTM)網(wǎng)絡(luò)在處理時間序列問題上有 著獨特的優(yōu)勢，也因此在模型降階中備受青睞$ Mannarino 和 Mantegazze!12基于 RNN，構(gòu)建 了連續(xù) 時間的非定常非線性氣動力降階模型

9、；Wang!#!等提 出了一種基于PCA和LSTM的降階模型，用于非定 常流場控制方程的降階)Mohan!14等研究了 LSTM 和雙向LSTM!1.在降階模型中的應(yīng)用，過擬合使雙 向LSTM的表現(xiàn)不及預(yù)期$ Kani!13等使用深度殘 差循環(huán)神經(jīng)網(wǎng)絡(luò)，與PCA相結(jié)合提出了一種非線性 動力系統(tǒng)的模型降階方法$ Lindhorst等!#1組合了 POD方法與遞歸RBF神經(jīng)網(wǎng)絡(luò)模型，在低維空間中 建立了動態(tài)的非線性系統(tǒng)辨識模型$ Yao和 Marques!18結(jié)合POD、離散經(jīng)驗插值和徑向基函數(shù) (Radical Basis Function, RBF)神經(jīng)網(wǎng)絡(luò)，構(gòu)建了 針 對氣動彈性問題的非線性

10、ROM$隨著研究的不斷 深入，神經(jīng)網(wǎng)絡(luò)的擬合能力、泛化能力也為降階模型 的研究帶來了新的課題$尹明朗!#等在遞歸徑向基 函數(shù)(Recursive Radial Basis Function, RRBF)神經(jīng) 網(wǎng)絡(luò)氣動力模型中引入差分進化算法用于調(diào)整隱藏 層中神經(jīng)元的寬度，發(fā)展了一種具有高泛化能力的神 經(jīng)網(wǎng)絡(luò)氣動力降階模型；Kou!)。等提出了多核神經(jīng) 網(wǎng)絡(luò)并將其應(yīng)用于降階模型的構(gòu)建，與基于單核 RBF神經(jīng)網(wǎng)絡(luò)的降階模型相比，基于多核神經(jīng)網(wǎng)絡(luò) 的降階模型在模型精度、泛化能力、抗噪能力上都得 到了提升$本文將多層自編碼器和LSTM應(yīng)用于降階模型 的構(gòu)建，并與基于PCA的降階模型進行了對比$實 驗表

11、明使用多層自編碼器和LSTM構(gòu)建的降階模型 有著更高的精度，且通過微調(diào)，降階模型的精度得到 了進一步提升$深度學(xué)習(xí)可以優(yōu)化和改進模型降階 方法，使降階模型的精度更高$1模型降階方法!本文提出的模型降階方法使用多層自編碼器對 數(shù)據(jù)進行降維和特征提取，應(yīng)用LSTM構(gòu)建預(yù)測模 型，并通過微調(diào)改進模型性能$1.1自編碼器自編碼器!)#是一種以最大程度還原原始輸入數(shù) 據(jù)為目標(biāo)的神經(jīng)網(wǎng)絡(luò)$它能夠從輸入數(shù)據(jù)中學(xué)習(xí)到 數(shù)據(jù)特征，并根據(jù)學(xué)習(xí)到的特征重構(gòu)出原始數(shù)據(jù)$自 編碼器含有一個隱變量層-，將自編碼器分為兩部 分:從輸入層到隱變量層的部分被稱為編碼器、從隱 變量層到輸出層的部分是解碼器$單層自編碼器的 結(jié)構(gòu)如

12、圖1所示$對于輸入數(shù)據(jù)，編碼器可以由- = *(?)表示，解碼器可以由? = g(-)表示，其中，? 表示重構(gòu)數(shù)據(jù)$經(jīng)過訓(xùn)練后，編碼器能夠提取輸入數(shù) 據(jù)？的特征-;解碼器可以根據(jù)隱變量-對輸入數(shù) 據(jù)進行重構(gòu)，輸出？的近似？。為了達到最大程度 還原輸入數(shù)據(jù)的目標(biāo)，自編碼器的損失函數(shù)通常會選 取輸入數(shù)據(jù)和輸出數(shù)據(jù)的均方誤差，XLoss =X(1)式中，N表示？的維度，下標(biāo)I表示向量的第.個分 量$圖1自編碼器Fig.1 Sketch of an autoencoder為了保證隱變量h中信息的有效性，在構(gòu)建自 編碼器時，通常限制隱變量-的維度小于輸入數(shù)據(jù)？ 的維度$這使得自編碼器能夠完成數(shù)據(jù)壓縮的任

13、務(wù)$ 自編碼器作為深度學(xué)習(xí)中提取特征的一種有效手段, 已經(jīng)被證明可以應(yīng)用于流場特征的提取!) $1.2長短期記憶網(wǎng)絡(luò)LSTM是RNN的變體，能夠改善長期依賴和梯 度消失/爆炸等問題# LSTM的內(nèi)部結(jié)構(gòu)中引入了 三個門控單元：輸入門、輸出門和遺忘門,和記憶細(xì)胞 c # LSTM的門控單元采用了公式(2)所示的 sigmoid激活函數(shù)，使得輸出值在01之間，從而實 現(xiàn)對信息的保留或丟棄，0表示完全丟棄信息1表示 完全保留#；)= _*1 + e ;式(2)中，；是激活函數(shù)的輸入變量#三個門控單元 中，遺忘門控制從前面的記憶中丟棄/繼承多少信息； 輸入門決定了當(dāng)前時刻的輸入信息有多少被加入到 記憶

14、信息流中(輸出門決定了當(dāng)前時刻的記憶細(xì)胞中 傳輸給隱藏狀態(tài)的信息量#每個門都由上一時刻的 隱藏狀態(tài)T、細(xì)胞狀態(tài)c1和當(dāng)前時刻的輸入? 的線性組合及sigmoid函數(shù)構(gòu)成#利用三個門控單元更新當(dāng)前時刻的隱藏狀態(tài)和 記憶細(xì)胞，LSTM中當(dāng)前時刻的細(xì)胞狀態(tài)和隱藏狀 態(tài)的計算過程如公式(3)(7)。公式(3)(5)分別 是遺忘門、輸入門和輸出門的計算公式，公式(6)為細(xì) 胞狀態(tài)的計算公式，公式(7)計算當(dāng)前時刻的隱藏 狀態(tài)# TOC o 1-5 h z f =o(Wflx +Wfmm-# =Wfccc1 =br)(3).=o(W?x =W mm1 +W ,-=b.)(4)。=o(W?x =Wmm=Wx

15、c-# =b)(.) c = fcT =ztanh(Wc? =Wcmm-# =bc) (6) m =otanh(c)(7)其中i、f )、c、m分別表示輸入門、遺忘門、輸出門和 細(xì)胞狀態(tài)以及隱藏狀態(tài)(Wb分別表示對應(yīng)的權(quán)重 系數(shù)矩陣和偏置;#和tanh分別為sigmoid函數(shù)和公 式(/)中的tanh函數(shù)：e;tanh；) =(8)e; + e ;其中；表示函數(shù)的輸入變量#1.3微調(diào)當(dāng)模型參數(shù)采用隨機初始化時，深層網(wǎng)絡(luò)的訓(xùn)練 很難進行,Hmton等例提出了逐層貪婪預(yù)訓(xùn)練，其 主要思想是逐層地訓(xùn)練網(wǎng)絡(luò)，將逐層訓(xùn)練好的網(wǎng)絡(luò)參 數(shù)作為整體網(wǎng)絡(luò)參數(shù)的初始化，最后再對整體的網(wǎng)絡(luò) 進行微調(diào)#在本文中，我們

16、將完整的降階模型拆分成 兩個網(wǎng)絡(luò)，多層自編碼器和預(yù)測網(wǎng)絡(luò)#先分別對兩個 網(wǎng)絡(luò)進行訓(xùn)練，再將訓(xùn)練好的網(wǎng)絡(luò)拼接在一起，構(gòu)成 降階模型#對拼接后的網(wǎng)絡(luò)進行微調(diào)，也就是對該網(wǎng) 絡(luò)再進行訓(xùn)練，得到最終的降階模型#網(wǎng)絡(luò)拼接的過程如圖2所示圖2網(wǎng)絡(luò)拼接Fig.2 A sketch of the network stitching本文先分別訓(xùn)練多層自編碼器和預(yù)測網(wǎng)絡(luò)，將訓(xùn) 練好的多層自編碼器和LSTM拼接后，進行微調(diào)獲 得最終的降階模型，降階模型的構(gòu)建流程如圖3#圖3降階模型構(gòu)建流程Fig.3 A flow chart of the reduced order model construction2二維圓柱繞

17、流降階模型本文選取二維圓柱繞流算例，使用Fluent軟件進 行數(shù)值模擬以獲取實驗數(shù)據(jù)，構(gòu)建降階模型。流場的計 算域如圖4(a)所示。流體的入場速度為7 = 0.5 m/s,流 體的密度為1kg/m3,雷諾數(shù)為150#流場計算域內(nèi) 的網(wǎng)格數(shù)量為6140。計算時間步長為2X1002s#第 500個時間步時，流場的狀態(tài)如圖4(b)所示#2.1特征提取特征提取方法應(yīng)能從數(shù)據(jù)中提取有效的特征# 在特征提取階段，我們對三種降維方法的效果進行了 比較和分析：單層自編碼器(SAE, Single-layer AutoEncoder)，多層自編碼器(MAE, MultiTayer AutoEncoder)以及P

18、CA#為了比較這三種方法在實 際使用中的效果，我們設(shè)定了五個特征維度,d.m = 8、16、32、48、64,并使用公式(9)均方根誤差(Root Mean Square Error, RMSE)評估三種方法的數(shù)據(jù)降 維和重構(gòu)效果#(b)流場速度云圖，第500個時間步圖K二維圓柱繞流算例Fig.4 The numerical simulation of flow past a cylinderRMSE =(9)式中，N(b)流場速度云圖，第500個時間步圖K二維圓柱繞流算例Fig.4 The numerical simulation of flow past a cylinderRMSE =(

19、9)選擇1000個時間步長的流場數(shù)據(jù)構(gòu)造數(shù)據(jù)集, 并將數(shù)據(jù)隨機打亂，使其不再按時間順序排列$按順 序依次將數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集、驗證數(shù)據(jù)集和測 試數(shù)據(jù)集，三個數(shù)據(jù)集的比例為6：2：2$此外，為 了提升模型精度和收斂速度，我們在訓(xùn)練網(wǎng)絡(luò)前對流 場數(shù)據(jù)進行了標(biāo)準(zhǔn)化處理，將每個時刻的流場數(shù)據(jù)都 縮放至& 1,1的范圍中，標(biāo)準(zhǔn)化公式如下：mean(10)meanz max z min其中，Z mean表示不同時刻流場數(shù)據(jù)的均值，Z max表 示不同時刻流場數(shù)據(jù)中的最大值，Zmn表示不同時 刻流場數(shù)據(jù)中的最小值$激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入了非線性，提高了模型 的表達能力$在實驗中，我們使用了兩種激活函數(shù),

20、 tanh函數(shù)和Relu函數(shù),Relu函數(shù)見公式(11):Relu(z) = max)0 ,z*(11)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，我們使用輸入和輸出之間的均方誤 差作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)；批大小為16,即每一次 訓(xùn)練從訓(xùn)練集中取16個樣本進行訓(xùn)練；訓(xùn)練150個 時期，一個時期指對訓(xùn)練集所有數(shù)據(jù)進行一次前向和 反向傳播；并使用Adam&2;優(yōu)化器$單層自編碼器 和多層自編碼器內(nèi)部均由全連接層構(gòu)成，網(wǎng)絡(luò)結(jié)構(gòu)、節(jié)點數(shù)和激活函數(shù)的設(shè)置分別見表1和表2表1單層自編碼器結(jié)構(gòu)Table 1 The structure of a SAE網(wǎng)絡(luò)層節(jié)點數(shù)激活函數(shù)輸入層6140全連接層8/16/32/48/64Relu輸出層6

21、140tanh表2多層自編碼器結(jié)構(gòu)Table 2The structure of a MAE網(wǎng)絡(luò)層節(jié)點數(shù)激活函數(shù)輸入層6140全連接層1256Re u全連接層2128Re u全連接層38/16/32/48/64Re u全連接層;128Re u全連接層5256Re u輸出層6140tanh2.1.2應(yīng)用PCA進行特征提取PCA方法對數(shù)據(jù)的協(xié)方差矩陣進行特征值分 解，將特征值按照從大到小順序排列，選擇對應(yīng)的特 征向量組成投影矩陣，對原始數(shù)據(jù)進行投影，得到數(shù) 據(jù)降維的結(jié)果$隨著選取的特征值及特征向量數(shù)量 的增加，PCA方法的效果也會不斷提升$實驗中，我們選取與2.1.1節(jié)中相同的數(shù)據(jù)集進 行PCA降

22、維實驗，即600條數(shù)據(jù)被用于PCA中的投 影矩陣的構(gòu)建,200條數(shù)據(jù)被用于測試PCA的降維 效果$2.1.3實驗結(jié)果分析表3、圖6和圖7展示了三種方法對流場數(shù)據(jù)進 行數(shù)據(jù)重構(gòu)的效果$表3是三種方法在測試集上均 方根誤差的平均值$從數(shù)值上看，在特征維度較低 時，多層自編碼器的效果最好;在特征維度較大時, PCA的效果最好；而由于模型的表達能力有限，單層 自編碼器的數(shù)據(jù)重構(gòu)效果最差$隨著特征維度的不 斷增加，各方法的性能都得到了不同程度的改善，尤 其是PCA方法，特征維度的大小對其性能起決定性 作用$而多層自編碼器的性能主要由神經(jīng)網(wǎng)絡(luò)的結(jié) 構(gòu)決定，受特征維度的影響小，因此在特征維度增大 時也沒有得

23、到較大的性能提升$表3 降維方法的均方根誤差Table 3 RMSE of dimensionality reduction methods(dimPCA/10 3單層自編碼器/103多層自編碼器/103815.7125.647.78168.0322.324.06322.9715.533.69481.3010.393.26640.658.013.19為了進一步評估三種方法的性能，我們選取第 840個時間步的數(shù)據(jù)，通過數(shù)據(jù)可視化對三種方法進 行直觀的比較。選取的原始流場速度云圖如圖5所 示。00.20.40.60.81.0圖5原始流場速度云圖Fig.5Velocity of the origin

24、al flow field自編碼器，從上到下依次是不同的特征維度，（蝠= 8、16、32、48、64。由于三種方法的降維效果大致相 近，直接根據(jù)流場數(shù)據(jù)的可視化結(jié)果難以進行比較! 因此我們對原始流場數(shù)據(jù)和每種方法的重構(gòu)結(jié)果之 間的誤差也進行了可視化，如圖1所示。圖1中數(shù)據(jù) 的排列與圖6相同，在不同情況下，流場內(nèi)誤差的數(shù) 值范圍不同，顏色越淺表示誤差越接近于0。圖6是三種方法對圖5中的流場數(shù)據(jù)進行重構(gòu) 的結(jié)果，從左到右依次是PCA,單層自編碼器和多層PCA?!血=48,單層自編碼器ndim=48, 層自編碼器00.20.40.60.81.000.20.40.60.81.000.20.40.60.

25、81.0圖6 PCA、多層自編碼器、單層自編碼器的重構(gòu)結(jié)果Fig. 6 The reconstructed velocity by three methods從圖6中可以看出，各種情況下三種方法都能重 構(gòu)流場的整體規(guī)律。它們之間的差別主要在于一些 細(xì)節(jié)的重構(gòu)，如圖5中紅色箭頭指向的三個位置。圖6是三種方法對圖5中的流場數(shù)據(jù)進行重構(gòu) 的結(jié)果，從左到右依次是PCA,單層自編碼器和多層PCA?!血=48,單層自編碼器ndim=48, 層自編碼器00.20.40.60.81.000.20.40.60.81.000.20.40.60.81.0圖6 PCA、多層自編碼器、單層自編碼器的重構(gòu)結(jié)果Fig. 6

26、 The reconstructed velocity by three methods圖1展示了各種方法的重構(gòu)數(shù)據(jù)和原始數(shù)據(jù)之 間的誤差！從圖中可以看出，隨著特征維度的增加， PCA方法的誤差出現(xiàn)的區(qū)域逐漸縮小，且誤差的數(shù) 值不斷降低，逐漸逼近0;自編碼器中存在誤差的區(qū) 域則相對固定，誤差的數(shù)值趨于穩(wěn)定，如多層自編碼 器的誤差范圍穩(wěn)定在$ 0.03,0.03%。自編碼器的性 能受網(wǎng)絡(luò)結(jié)構(gòu)的限制，不能達到PCA方法不斷降低 誤差的效果！綜合來看，在特征維度較小時，多層自編碼器是 三種方法中最優(yōu)的選擇，可以在確保較高精度的情況 下提供較高的數(shù)據(jù)壓縮率！-0.06 -0.036 -0.012 0.

27、012 0.036 0.06-0.0X -0.048 -0.0 6 0.0 6 0.048 0.0S-0.06 -0.036 -0.012 0.012 0.036 0.06PCA、多層自編碼器、單層自編碼器的重構(gòu)誤差圖7Fig.7 Error between the original velocity and the reconstruction by three methods-0.10 -0.06 -0.02 0.02吼=16, PCA-0.08 -0.048 -0.016 0.016 0.048 0.08月質(zhì)=64,單層自編碼器2.2預(yù)測模型應(yīng)用降維方法提取特征之后，我們需要對得到的 低

28、維特征建立預(yù)測模型！考慮到需要建模解決的問 題是時間序列的預(yù)測問題，我們使用LSTM構(gòu)建低 維特征的預(yù)測模型!由于2.1節(jié)中單層自編碼器的表現(xiàn)較差，我們僅 為多層自編碼器和PCA方法的降維結(jié)果構(gòu)建相應(yīng)的 預(yù)測模型。在實驗中，綜合考慮數(shù)據(jù)的復(fù)雜度、模型 的精度和效率，我們使用兩層LSTM構(gòu)建預(yù)測網(wǎng)絡(luò)。 預(yù)測模型的結(jié)構(gòu)如表4所示。表4預(yù)測模型結(jié)構(gòu)Table 4 Structure of the prediction model網(wǎng)絡(luò)層節(jié)點數(shù)激活函數(shù)輸入層5X 8/16/32/48/64LSTM256ReluLSTM8/16/32/48/64Relu/tanh預(yù)測網(wǎng)絡(luò)同樣使用均方誤差作為損失函數(shù)，訓(xùn)練

29、 的批大小為16,訓(xùn)練時期為150,使用Adam優(yōu)化器。 預(yù)測網(wǎng)絡(luò)以過去五個時刻的低維特征為輸入，輸出下 一個時刻的低維特征。對數(shù)據(jù)進行訓(xùn)練集，驗證集和 測試集的劃分，數(shù)據(jù)比例為6：2：2。對于PCA提取的特征，我們對其進行標(biāo)準(zhǔn)化，將 數(shù)據(jù)縮放至# 1,1$,并將相應(yīng)預(yù)測網(wǎng)絡(luò)輸出層的激 活函數(shù)設(shè)為tanh。對于多層自編碼器提取的特征, 直接將編碼器的輸出作為預(yù)測網(wǎng)絡(luò)的輸入。由于在 2.1.1節(jié)中編碼器輸出層的激活函數(shù)為Relu,因此對 應(yīng)的預(yù)測網(wǎng)絡(luò)的輸出層的激活函數(shù)也設(shè)置為Relu。分別記PCA、多層自編碼器對應(yīng)的預(yù)測網(wǎng)絡(luò)為 P-LSTM和M-LSTM0表5給出了兩個預(yù)測模型在 測試集上均方根

30、誤差的平均值?？傮w上,M-LSTM 的誤差大于P-LSTM，這是因為未對編碼器提取的特 征進行標(biāo)準(zhǔn)化，數(shù)值范圍較大。而隨著特征維度的增 加，P-LSTM的預(yù)測誤差不斷增加，是因為P-LSTM 的輸入向量為稠密向量，需要建模的關(guān)系愈加復(fù)雜而 預(yù)測網(wǎng)絡(luò)的結(jié)構(gòu)沒有改變；同時,M-LSTM的誤差更 為穩(wěn)定，甚至有一定程度的降低，是因為在編碼器的 輸出層使用了 Relu函數(shù)，特征表示是一個稀疏向量, 特征維度的增長在為預(yù)測模型提供更多信息的同時 未使數(shù)據(jù)關(guān)系過于復(fù)雜化。表5兩個預(yù)測模型的均方根誤差Table 5 RMSE of prediction models P-LSTM and M-LSTM(di

31、mP-LSTM/10-2M-LSTM/10-283.9350.77164.1031.55327.7323.904812.3141.026422.3629.312.3降階模型數(shù)據(jù)降維方法和相應(yīng)的預(yù)測網(wǎng)絡(luò)共同構(gòu)成了降 階模型。對于使用PCA降維的降階模型，數(shù)據(jù)經(jīng)過 PCA變換后，將數(shù)據(jù)特征輸入預(yù)測網(wǎng)絡(luò)，對預(yù)測結(jié)果 進行PCA的逆變換，得到降階模型的預(yù)測結(jié)果；對于 使用多層自編碼器的降階模型，將數(shù)據(jù)輸入編碼器, 再將得到的低維特征輸入預(yù)測網(wǎng)絡(luò)，使用解碼器將預(yù) 測網(wǎng)絡(luò)的輸出結(jié)果重構(gòu)為預(yù)測的流場數(shù)據(jù)。對于基于多層自編碼器和LSTM的降階模型, 我們可以按照編碼器、預(yù)測網(wǎng)絡(luò)、解碼器的順序?qū)⑷?個網(wǎng)絡(luò)拼接成

32、一個網(wǎng)絡(luò)作為構(gòu)建的降階模型，并對拼 接后的網(wǎng)絡(luò)進行微調(diào)。因此，在本節(jié)中，我們將比較 三種降階模型。三種模型分別是基于PCA和LSTM 的降階模型(PCA and LSTM based ROM, PLRom)、基于 MAE和LSTM 的降階模型(MAE and LSTM based ROM, MLRom)、微調(diào)后的基于 MAE 和 LSTM 的降階模型(Fine-tuned MAE and LSTM based ROM, FMLRom)。在對 MLRom 進 行微調(diào)時，使用的損失函數(shù)為均方誤差，批大小為 100,訓(xùn)練時期為10,使用Adam優(yōu)化器。三個降階 模型在測試集上的均方根誤差見表60表6三個降階模型的均方根誤差Table 6 RMSE of reduced order models PLRom,MLRom, and FMLRom(dimPLRom/10-3MLRom/10-3FMLRom/10-3814.219.073.21168.124.673.08324.224.282.79483.343.692.78645.363.532.79與之前實驗中相同，為了進