《機器人基礎與數字孿生系統(tǒng)》 課件 第9章 數字孿生系統(tǒng)的生命周期管理

第9章數字孿生系統(tǒng)的生命周期管理【9.1剩余壽命預測算法】【9.1.1剩余壽命預測技術研究現(xiàn)狀】

剩余使用壽命（RemainingUsefulLife，RUL）是一個條件隨機變量，根據當前機器的使用時長、狀況及過去的操作模式，觀察分析故障出現(xiàn)之前的剩余時間。

目前的剩余壽命預測研究主要分為以下幾種研究方法：【9.1剩余壽命預測算法】【9.1.1剩余壽命預測技術研究現(xiàn)狀】

（1）基于模型的預測方法需要了解故障的產生原理與故障的生成特征，需要開展基于故障機理的可靠性設計與分析，建立故障機理模型，并且證明模型的可行性。這類預測方法不足夠具備魯棒性和普適性，對技術人員的知識范疇要求較廣，需要很高的知識水平，均對擴大這種方法的使用范圍加了難度。（2）基于知識的預測方法通過將知識整理在數據庫，開發(fā)較為完備的專家系統(tǒng)來完成基于知識的預測功能。該預測方法憑借無需建立精確模型和預測結果對應精度較高等優(yōu)點得到了廣泛應用。該方法需要對領域知識的較為詳盡的掌握，需要完備的知識表示方法。領域內的專家知識及相關經驗很難找到詳盡完備的標準，建立知識庫的隨機性較大。基于知識的預測方法很難得到普適及推廣。（3）基于數據的預測方法基于數據預測的方法是挖掘、分析和計算諸多數據中可擴展的隱性決策價值。依據特征信息的變化趨勢，來診斷預測設備未來的運行狀況。

支持向量回歸模型、灰色理論、隱馬爾可夫模型、時間序列分析、以及神經網絡預測等都屬于該類技術中的主流選擇?！?.1剩余壽命預測算法】【9.1.1剩余壽命預測技術研究現(xiàn)狀】

3）基于數據的預測方法①支持向量回歸模型支持向量機方法(SupportVectorMachine,SVM)，對于有限數量樣本的訓練，SVM方法可以較好地尋求學習效率與算法精度之間的均衡調節(jié)，具有較強的普適性。②時間序列預測時間序列，也稱動態(tài)序列，指具有同一統(tǒng)計指標的一系列值，根據時間先后次序將其羅列形成的數列。獲取運行中機械設備的階段性數據，將其按等時間間隔排列形成的序列就是設備的狀態(tài)時間序列。時間序列預測是對研究對象當前和歷史信息的時間序列數據進行分析建模，對數據變化的趨勢觀測進行數據預測，然后由預測到的數據特征分析、計算和預測下一階段設備的發(fā)展趨勢。③神經網絡預測神經網絡是由彼此聯(lián)結的神經元構建而成的龐大網絡或計算系統(tǒng)。神經網絡借鑒了人腦神經系統(tǒng)的觸發(fā)機制，模擬人類思維模式，從而挖掘重要特征與特征間的緊密聯(lián)系。神經網絡憑借梯度下降、反向傳播及高效的優(yōu)化機制使其在眾多領域的研究中具有高度學習能力、普適與泛化性、容錯與穩(wěn)定性。【9.1剩余壽命預測算法】【9.1.2剩余壽命預測算法相關理論與技術】

1）卷積神經網絡卷積神經網絡，其與普通神經網絡相比，相同點可以理解為假設輸入與輸出的計算公式，運用多層邏輯回歸的方式，通過梯度下降、鏈式求導法等這種反向傳播的方式進行參數優(yōu)化訓練?？蓱脼橐痪S卷積、二維卷積、三維卷積等。舉例說明適用于時間序列數據的一維卷積，一維卷積相當于卷積核在輸入的一個維度方向滑動做卷積計算并得到輸出結果。卷積過程及結果如圖所示?！?.1剩余壽命預測算法】【9.1.2剩余壽命預測算法相關理論與技術】

2）長短期記憶人工神經網絡在循環(huán)神經網絡(RecurrentNeuralNetwork,RNN)的基礎上衍生出了長短期記憶神經網絡（Longshort-termmemory,LSTM）。對應于每個時間點t，會有一個記錄了之前信息的狀態(tài)值Ct，通過輸入、遺忘等調節(jié)方式對當前Ct進行修正，即這個Ct可被理解為一個會隨著時間邊改變邊傳遞下去的核心要素。用sigmoid門控制每個輸入因素對Ct的影響，則可控制從全部不輸入到全部都輸入的所有情況。LSTM有三個重要的門：輸入門、遺忘門、輸出門，通過它們對狀態(tài)的影響，并把這個狀態(tài)遞歸下去，從而不忘記遙遠重要信息，也不會只關注近距離冗余信息。LSTM結構如右側下圖。【9.1剩余壽命預測算法】【9.1.2剩余壽命預測算法相關理論與技術】

3）在門控循環(huán)單元門控循環(huán)神經網絡(gatedrecurrentneuralnetwork,GRU)對LSTM改進精簡，以“更新門”替換原來的遺忘門與輸入門，且對單元狀態(tài)和隱藏狀態(tài)也進行合并及更新。GRU的門結構可以有效地過濾無用信息，捕獲輸入數據的長期依賴性，在處理序列問題時有著非常出色的性能。如圖為GRU的結構，可知，重置門和更新門的輸入一致，包含當前時刻的輸入和上一時刻的隱藏狀態(tài)，最后通過sigmoid函數進行全連接層運算并輸出結果。

【9.1剩余壽命預測算法】【9.1.2剩余壽命預測算法相關理論與技術】

4）注意力機制注意力算法機制可解釋為：當一處環(huán)境映入人的眼簾時，由于大腦的運作處理，人類不會對每個視點平分注意力，而是習慣于注意周圍環(huán)境中某幾個極其重要的微小部分，以得到有用的信息，從而建立對環(huán)境的表達。注意力機制與之同理，以權重來表示關注的程度，得到有力信息，從數學角度理解，可以將它解釋成一種加權求和。輸入序列的每個局部，將分配不一樣的權重，代表重要性不同；輸出序列的局部，由上一段的輸出與當前的輸入局部組成。

【9.1剩余壽命預測算法】【9.1.3實驗數據來源及數據預處理】

1)實驗數據來源和數據分析

剩余壽命預測研究基于IEEEPHM2012的軸承數據，數據由IEEE可靠性協(xié)會和FEMTO-ST研究所組織采集。實驗設備是一個名為PRONOSTIA的實驗平臺。平臺主要通過控制軸承轉速、軸承被施予的徑向力、軸承上瞬間的扭矩值來對軸承的運行狀況進行改變及影響。平臺依靠振度傳感器、溫度傳感器采集的數據來表征軸承退化情況。振動傳感器由兩個相互成90°的微型加速度計組成；第一個放置在垂直軸上，第二個放置在水平軸上。兩個加速計徑向放置在軸承的外座圈上，采樣頻率為25.6kHz。本文以振動信號作為研究切入點。【9.1剩余壽命預測算法】【9.1.3實驗數據來源及數據預處理】

故障出現(xiàn)研究

每0.1s(設為1個單位時間)內等距提取100個時間點的信號，計算前N單位時間內振動信號的均方根值(RootMeanSquare，RMS)，即第1個單位時間內的RMS、前兩個單位時間內的RMS、前三個單位時間內的RMS......，計算出前N個振動信號的RMS的均值和標準差，即第一個RMS的均值標準差、前兩個RMS的均值標準差，前三個RMS的均值標準差......，將上閾值設為+3，只要RMS大于這個閾值，則認為開始失效或退化。

由此可計算得出，軸承2_1從157單位時間開始失效，振幅隨時間的變化以及退化起始關鍵節(jié)點如圖所示?！?.1剩余壽命預測算法】【9.1.3剩余壽命預測算法相關理論與技術】

2）實驗數據預處理小波變換閾值去噪方法具有實現(xiàn)最簡單、計算量最少的特點。小波去噪通過函數逼近方法，根據一定的衡量標準，通過小波母函數的伸縮平移變換，得到對原始信號的近似優(yōu)化，實現(xiàn)原始信號與噪聲的隔離，從而最佳化地還原原始信號，使信號數據表現(xiàn)更平滑。使用Python中的pywt.threshold函數完成小波去噪，去噪效果如圖所示。進行基于振動信號常用時域指標對時間序列數據的特征計算后,進特征選擇的初步取舍。

【9.1剩余壽命預測算法】【9.1.4振動信號時域特征與卷積壓縮特征結合的注意力編碼解碼網絡】

1)網絡設計在上述開源數據集的基礎上，進行剩余壽命預測算法的優(yōu)化，以便解決此類軸承的剩余壽命計算問題，避免發(fā)生軸承突發(fā)失效的后果。討論一種振動信號時域特征與卷積壓縮特征相結合的注意力編碼解碼網絡——TCA-Seq2Seq，其總體結構如右圖所示，網絡主體seq2seq模型基于編碼—解碼結構。首先，編碼過程為：卷積層充當特征壓縮器，適當調整序列長度。其次，通過雙向門控循環(huán)單元網絡實現(xiàn)對時序特征的查看與學習，輸出隱藏狀態(tài)ht。最后，解碼過程為：另一個LSTM網絡充當解碼器，逐步預測表示健康指標(HealthIndicate,HI)的隱層特征值?！?.1剩余壽命預測算法】【9.1.4振動信號時域特征與卷積壓縮特征結合的注意力編碼解碼網絡】

2)網絡主要模塊說明及總體流程①卷積特征壓縮采用卷積神經網絡對輸入數據進行特征壓縮，適當調整序列長度，從而減輕循環(huán)神經網絡中梯度消失或爆炸的影響。本例通過卷積神經網絡將時序數據長度壓縮至原長度1/8，特征由輸入的24通道擴展為64通道，實現(xiàn)深層次特征挖掘的同時，減少了參數的數量。②Seq2seq結構是一種普遍常規(guī)的Encoder—Decoder框架，結構如右圖所示。Seq2Seq的Decoder一般是不定長的，即允許與輸入序列長度不一致。Encoder部分起到將輸入序列長度標準化的作用，即控制輸入序列長度變成指定長度的向量。在本例中，這個向量可理解成序列數據在剩余壽命推測過程中的邏輯表示。【9.1剩余壽命預測算法】【9.1.4振動信號時域特征與卷積壓縮特征結合的注意力編碼解碼網絡】

③雙向門控循環(huán)神經網絡要求輸入同時包含軸承振動信號時間序列數據的正向傳遞信息與反向傳遞信息，故解碼部分使用雙向門控循環(huán)神經網絡。在雙向門控循環(huán)神經網絡中，各個時刻的隱藏層變量將正、反兩個方向傳遞的隱藏層變量拼接起來。④注意力機制與長短時記憶網絡軸承壽命預測問題中，當前時刻序列的每個部分對于下一時刻序列的影響程度有很大差異，如果引入注意力機制，其善于分析序列特征，為序列不同位置分配不一樣的權重，優(yōu)勢特征得以傳遞，無用特征得以縮減，有助于剩余壽命預測研究。⑤Teacherforcing機制優(yōu)化編碼失誤問題在Seq2seq的解碼過程中，解碼的輸入可能是正確的信息或編碼過程預測出來的信息。如果編碼過程預測失誤較大，會使后面解碼過程的錯誤率受其影響，模型很難收斂。本例使用Teacherforcing機制，設置監(jiān)督參數，使訓練過程中的每個時刻有一定概率使用上一時刻的輸出作為輸入，也有一定概率使用正確的目標值作為輸入，可提升模型的拓展性，降低模型評估性能較差的風險?！?.1剩余壽命預測算法】【9.1.4振動信號時域特征與卷積壓縮特征結合的注意力編碼解碼網絡】

⑥訓練階段數據隨機截斷處理在訓練階段，不會全部選取訓練集中的每組時間序列數據，而是對每組時間序列數據在接近數據終點的某個范圍內隨機截斷，以取到的隨機長度數據作為訓練序列，模擬測試信號。⑦剩余壽命預測算法總體流程提出一種振動信號時域特征與卷積壓縮特征相結合的注意力編碼解碼算法——TCA-Seq2Seq，利用小波閾值方法對原始軸承振動信號進行去噪，通過數據源文件內等距采樣和數據源文件間的重疊滑窗處理來構建數據序列?；跁r序振動信號常用的時域指標對其進行初始特征計算，劃分訓練集與測試集，構造一種基于TCA-Seq2Seq的剩余壽命預測算法。具體流程如圖所示?！?.1剩余壽命預測算法】【9.1.4振動信號時域特征與卷積壓縮特征結合的注意力編碼解碼網絡】

3)模型優(yōu)化及評判輸入層先對特征數據進行標準化，加速模型收斂。本例采用均方根誤差來進行迭代訓練，均方根誤差通常是回歸任務的首選性能衡量指標，誤差越大，該值越大。訓練過程中，以其為評估標準更新模型參數，降低損失。 對于預測值大于真實值的情況可被認為是高估，對于真實值大于預測值的情況則被認為是低估。對于實際工況中，滯后預測對于提前預測來說，是容易發(fā)生危險的。因此，對于高估的情況給予較差的評分，對于低估的情況給予較好的評分，對應表示為右圖，最后，將所有實驗分數的平均值將作為對剩余壽命預測評判的最終分數?！?.1剩余壽命預測算法】【9.1.5剩余壽命預測結果】

為驗證TCA-Seq2Seq算法模型的優(yōu)勢，本例設計了與其他算法模型的對照實驗，結果見表。表中的Seq2Seq表示構建了以BiGRU編碼和LSTM解碼的編碼解碼結構，表中TC-Seq2Seq表示在上述Seq2Seq基礎上增加了振動信號時域特征與卷積壓縮特征相結合的特征提取部分，TCA-Seq2Seq表示基于上述TC-Seq2Seq，在編碼解碼過程增加了注意力機制的計算。MAE列對應算法模型的誤差值。對照結果表明TCA-Seq2Seq算法在剩余壽命預測中呈現(xiàn)了較好的效果，體現(xiàn)了其在剩余壽命預測中的優(yōu)勢。分別計算測試集11組軸承的實驗誤差，根據計算平均值得到評分值。多組實驗模型的評分值結果如表的SCORE列，結果表明TCA-Seq2Seq模型具有較好的評分值。模型MAESCORETCA-Seq2Seq0.02510.9285TC-Seq2Seq0.06080.8193Seq2Seq0.11490.6697BiGRU0.15270.6832【9.2不確定性度量模型】【9.2.1不確定分析】

1)深度學習不確定性分析為確保深度學習的可靠性，需要通過建模的不確定性來識別不熟悉的數據樣本。數據樣本、傳感器特性、模型不確定性、場景覆蓋范圍及研究領域的不確定性因素都會引起不確定性的發(fā)生。前兩個因素可采用不確定性估計方法建模，而后三個因素對應于一定程度的數據集轉移以及分布外奇異樣本，本例重點針對前兩個因素進行研究。2)不確定性來源與分類當用于測試與訓練的數據不匹配時，就會顯露不確定性，通常數據不確定性起因于類別重疊或數據中的噪聲。不確定性基本有兩個類別：偶然不確定性和認知不確定性。偶然不確定性而來源于數據分布的固有特性。認知不確定性是由于知識不足引起，也稱為知識不確定性。偶然不確定性可能會影響在訓練或測試期間交付給機器學習模型的樣本信息量。認知不確定性反映了因數據集不代表奇異情況或數據集不夠大而對模型的忽視程度，是對模型參數中不確定性的一種解釋。本例采用基于變分推理量化的貝葉斯理論對預測模型進行不確定性度量?！?.2不確定性度量模型】【9.2.2基于貝葉斯推理的模型不確定性度量研究】

1)貝葉斯推理貝葉斯方法有助于解決觀測誤差引起的非唯一解問題，在參數估計問題中也有所應用。目前，參數估計的相關研究方法有：基于封閉解求解模型、似然函數的正態(tài)分布、有限元方法等，本例基于貝葉斯推理和變分推斷等方法對模型預測研究，對模型參數的后驗概率分布進行初步理論推導，采用蒙特卡洛抽樣方法估計模型參數，運用數值模擬的形式計算模型的參數估計結果。2)變分推理量化預測不確定性理論證明假設網絡的輸入、輸出，網絡中的所有可訓練參數服從高斯分布?？捎柧殔档南闰灧植己蛯敵龅淖畲笏迫还烙嬁梢郧蟮?。但可訓練參數的后驗分布難以求得，若能得到后驗分布，則當輸入一個新的樣本時，就能夠得到的新的預測值分布。【9.2不確定性度量模型】【9.2.3模型不確定性度量構建方式】

1)偶然不確定性建模對于偶然不確定性問題，可以設想成在回歸問題的目標函數上疊加一個噪聲，訓練模型的目的就是擬合這個帶有噪聲的目標函數，從而使模型接近真實的數據分布。通過加入正則化的方式，網絡能輸出偶然不確定性。每給定一個數據，模型就可以輸出一個結果和一個偶然不確定性。2)認知不確定性建模在正向傳播中，實現(xiàn)MonteCarloDropout和在每個權重層后加Dropout是基本等價的，代碼整體開發(fā)代價較小，模型效率較高?，F(xiàn)有的Dropout是指使用Dropout來訓練模型時，模型的參數可看成是服從伯努利分布。需要在測試時將Dropout打開，預測多次，取預測的平均值即是最終的預測值，且可以得到方差，可模擬偶然不確定性。3)自定義不確定性度量邊界為驗證上述不確定性建模對剩余壽命預測模型的度量情況，將循環(huán)測試模型的次數設為100，不斷輸入測試集到模型中，并得到每一次的預測結果。計算預測結果的均值和方差、自定義預測函數，使通過不確定性度量后的模型，根據循環(huán)迭代的預測結果，計算輸出結果樣本的均值和方差，并計算0.99置信度的上界與下界?！?.2不確定性度量模型】【9.2.4結果及分析】

不確定性度量，需要將模型輸出以概率分布的形式表征，可靠性與清晰度是區(qū)間預測問題的兩個主要維度?？煽啃允侵割A測結果屬于預測區(qū)間的概率。清晰度是指預測區(qū)間的寬度，即區(qū)間上下限之間間隔的值。區(qū)間覆蓋率(PICP)是用于對區(qū)間預測可靠性的評價指標。平均預測區(qū)間寬度(MPIW)是區(qū)間寬度的量化值。平均區(qū)間寬度的歸一化表示，記作NMPIW。PICP與NMPIW一般是相互矛盾的。在實際工程中需要對兩者折衷考慮，首先確保PICP超過一定的覆蓋概率，再保證較小的NMPIW值。TCA-Seq2Seq算法相對于其他算法具有相對高的區(qū)間覆蓋率與相對窄的區(qū)間寬度，該算法的可靠性高于其他算法。【9.3預測與監(jiān)測管理】【9.3.1界面可視化功能】

1)智能分析結果的可視化本例以持續(xù)傳輸的方式，讀取上文所使用的數據集文件，模擬構建實時的時間序列數據。通過Unity3D啟動外部程序調用上述剩余壽命預測算法模型，將剩余壽命預測的分析結果呈現(xiàn)在Unity3D所構建的場景中，實現(xiàn)剩余壽命預測的初步呈現(xiàn)。Unity3D與Python算法部署開發(fā)集成調用過程如右1圖所示，智能分析結果可視化的具體流程如右2所示?！?.3預測與監(jiān)測管理】【9.3.1界面可視化功能】

2)Unity3D腳本環(huán)境分析Unity3D開發(fā)主要支持：C#、UnityScript與Boo。C#作為一種運行于.NET框架的高級語言，具有面向對象編程、代碼效率高、外設接口便捷等優(yōu)點。Unity3D的更新擴展與迭代維護聚焦于C#，C#均具有顯著優(yōu)勢。因此，本例選擇C#作為Unity3D端開發(fā)語言。3)C#與Python的混合編程本例選擇實現(xiàn)混合編程的方法主要流程為：Unity3D端通過按鈕綁定觸發(fā)C#程序，通過C#傳入參數——查詢時間，然后調用Python主程序；Python主程序根據當前時間查數據庫獲取振動信號數據，并構建與模型輸入維度相符的張量形式，調用構建好的XXX.pth模型得到輸出結果；將剩余壽命預測值與擬合圖像的圖片等信息記錄到數據庫中，存儲完成后，Unity3D端從數據庫獲取剩余壽命預測相關信息加載到Unity3D端?！?.3預測與監(jiān)測管理】【9.3.2數據庫準備與使用】

1)軸承振動信號數據庫本例以Mysql作為軸承數據存儲的平臺。首先，建立數據庫，建立如右上圖bearing_dataX1_X2表。X1對應工況，X2對應所屬工況內的軸承，按照前述所說明的數據集每列含義：時、分、秒、微秒、水平的振動信號、垂直的振動信號，同樣為bearing_data表構建對應字段。由于軸承數據是間斷式采集，對采集的次數進行記錄。為便于數據管理，額外加入主鍵id字段，如右下圖所示。存儲軸承振動信號的表中數據構建方式為：以10秒的時間間隔，從csv文件中讀數據并寫入數據庫的X1_X2表中，如下圖，模擬從傳感器采集數據到數據庫儲存的步驟，再進一步調用模型，得到輸出結果?！?.3預測與監(jiān)測管理】【9.3.2數據庫準備與使用】

2)剩余壽命預測值的保存與記錄在數據庫中，建立rul_result表與rul_result_pic數據表，分別用來存儲剩余壽命預測值信息與剩余壽命趨勢計算圖。rul_result表設計與表中數據示例如右1圖與右2圖。為便于Unity3D端C#