基于時間序列的異常值概率識別及應(yīng)用

基于時間序列的異常值概率識別及應(yīng)用

通過分析監(jiān)測數(shù)據(jù)，對水庫進行安全分析、安全評估和監(jiān)測，確保水庫的安全。大壩監(jiān)測數(shù)據(jù)為大壩運行性態(tài)的直接反映,測值的變化與大壩運行的環(huán)境荷載及大壩本身的結(jié)構(gòu)性態(tài)有關(guān)。因此,監(jiān)測數(shù)據(jù)的真實性和可靠性對水工建筑物安全狀況的最終評判至關(guān)重要。但由于隨機因素的影響或收集分析數(shù)據(jù)的失誤而出現(xiàn)異常值。目前,對大壩監(jiān)測數(shù)據(jù)異常值的識別方法主要有人工識別、概率識別、準則評判等。隨著大壩安全自動化監(jiān)測系統(tǒng)的普及,通過計算機及時自動識別異常值并分析原因是大壩安全監(jiān)測評價首先面臨的問題。鑒此,本文基于概率識別方法進行了算法改進,并結(jié)合實例進行應(yīng)用。結(jié)果表明,該法有效可行,便于計算機應(yīng)用。1概率識別方法1.1異常值的判定假定測值服從隨機樣本的正態(tài)分布,根據(jù)正態(tài)分布特征,偏離隨機樣本均值程度越大,概率越小。依據(jù)此原理,假定測值在某一顯著性水平下為小概率事件,則判定為異常值。常用的方法有格魯布斯檢驗法、t檢驗法、偏—峰度檢驗法等。傳統(tǒng)的概率識別方法存在如下缺陷:①僅適用于規(guī)律性較好、呈正態(tài)分布的數(shù)據(jù)序列;②需先確定可疑值,對可能存在多個異常值數(shù)據(jù)列的工作量大;③將監(jiān)測數(shù)據(jù)作為一維數(shù)據(jù)序列(測值)處理,忽略了時間即測值位置對識別結(jié)果的影響。1.2異常值的預(yù)處理文獻中提出了一種改進方法,將監(jiān)測數(shù)據(jù)列按每年的同一時間進行數(shù)據(jù)抽樣,抽樣后的數(shù)據(jù)服從或近似服從隨機正態(tài)分布,不再具有二維屬性。該法對各種分布規(guī)律的監(jiān)測數(shù)據(jù)均可進行識別,但其抽樣方式適用性與實用性尚有所欠缺:①監(jiān)測數(shù)據(jù)須為多年數(shù)據(jù)(通常20a以上),不適用于近年新建壩和在建壩的監(jiān)測數(shù)據(jù)異常值識別;②按每月3次測量的監(jiān)測頻率,對全部監(jiān)測數(shù)據(jù)識別需進行36次計算,步驟繁瑣;③忽視了數(shù)據(jù)的時間屬性,未考慮前后數(shù)據(jù)的相關(guān)性、整體數(shù)據(jù)的變化趨勢。本文對概率識別方法計算進行了改進,步驟如下。步驟1數(shù)據(jù)抽樣。水工建筑物物理量的實測資料實際為一個時間序列。取一測點的全部數(shù)據(jù)進行分析,記為Y={Y1,Y2,…,Ym}。若監(jiān)測頻率變化隨機性較大,可對數(shù)據(jù)按常規(guī)監(jiān)測頻率變化抽樣。步驟2數(shù)據(jù)處理。對Y={Y1,Y2,…,Ym}中的數(shù)據(jù)按Xi=Yi+1-Yi進行逐差處理,若部分時段監(jiān)測數(shù)據(jù)缺失,將其后的數(shù)據(jù)重新逐差處理,獲得數(shù)據(jù)構(gòu)成樣本空間X={X1,X2,…,Xn},且服從或近似服從正態(tài)分布,其特征值為:Xˉˉˉ=1n∑i=1nXi(1)Xˉ=1n∑i=1nXi(1)S=[(∑i=1nX2i?nXˉˉˉ2)/(n?1)]12(2)S=[(∑i=1nXi2-nXˉ2)/(n-1)]12(2)步驟3概率檢驗。運用小概率法確定X的可疑值分布區(qū)間。取顯著性水平α=5%,根據(jù)α和X的分布函數(shù),查表求得:Xmax=F?1(Xˉˉˉ,S,α/2)(3)Xmax=F-1(Xˉ,S,α/2)(3)Xmin=F?1(Xˉˉˉ,S,1?α/2)(4)Xmin=F-1(Xˉ,S,1-α/2)(4)當(dāng)X>Xmax或X<Xmin時,則X可疑。將可疑值同正常值置于同一正態(tài)總體。與傳統(tǒng)概率識別方法相比,精度雖有所降低,但可通過調(diào)整顯著性水平α控制,且可用求可疑區(qū)間的方式進行數(shù)據(jù)識別,識別效率顯著提高。步驟4異常值判斷及分析。①當(dāng)Xi與Xi+1均可疑且符號相反時,則Yi+1為尖點型異常值,其原因可能是由于環(huán)境量變化、疏失誤差或偶然誤差等因素造成;②當(dāng)Xi單點可疑時,則Yi+1為臺階型異常值,其原因可能是由于環(huán)境量變化、系統(tǒng)誤差或結(jié)構(gòu)性態(tài)變化、偶然誤差或疏失誤差等因素造成。尋求效應(yīng)量異常值后檢驗環(huán)境量、監(jiān)測系統(tǒng)、壩體結(jié)構(gòu)等。對異常值分析及處理,對環(huán)境量變化造成的異常值著重分析大壩安全性,對由疏失誤差造成的異常值予以剔除,由系統(tǒng)誤差造成的異常值應(yīng)對監(jiān)測系統(tǒng)進行調(diào)校等。步驟5復(fù)核。將需要剔除的異常值剔除后,按同樣方法再進行概率檢驗,避免異常值間的屏蔽效應(yīng)。若再次出現(xiàn)異常值按同樣的方法進行檢查、分析、處理。2點內(nèi)異常值數(shù)據(jù)分析以曬北灘水電站碾壓混凝土重力壩齒槽裂縫監(jiān)測數(shù)據(jù)為例,對#3測點部分監(jiān)測數(shù)據(jù)進行異常值識別。#3測點埋設(shè)初期1d監(jiān)測1次,隨工程進展監(jiān)測頻率逐漸放緩,穩(wěn)定階段每10d監(jiān)測1次,#3測點原數(shù)據(jù)見表1,過程線見圖1。由圖可知,2007年12月2日測值疑為異常值。為驗證該法的可行性,另隨機抽取1個測值并替換為錯誤的測值(2008年6月30日,實測值-0.040mm替換為0.040mm)。2.1可疑值的認定取顯著性水平α=5%,求得X正常時,Xmax=0.044,Xmin=-0.047。當(dāng)X>0.044或X<-0.047時,認為X為可疑值。檢驗X序列中的各數(shù)據(jù),發(fā)現(xiàn)X28(0.0816)和X29(-0.0873)為可疑值,進而確定Y29的測值為異常值,其測值為0.0401mm(2008年6月30日),為人工修改后錯誤測值。2.2大壩壓力監(jiān)測由文獻可知,混凝土重力壩裂縫開合度相應(yīng)的環(huán)境量有溫度和水位,考慮該期間大壩尚未蓄水發(fā)電,相應(yīng)的環(huán)境量僅需分析溫度即可。檢查相應(yīng)效應(yīng)量、監(jiān)測系統(tǒng)等。結(jié)果表明,環(huán)境量與監(jiān)測系統(tǒng)均正常、壩體及周邊建筑物未發(fā)生結(jié)構(gòu)性變化,效應(yīng)量異常值由疏失誤差造成,應(yīng)予以剔除。2.3顯著性水平0.338mm異常值將人為替換值剔除后,按上述方法重新計算,以復(fù)核有無遺漏的異常值。結(jié)果表明,在顯著性水平α=5%時,2007年12月2日的測值(-0.038mm)為異常值,相應(yīng)環(huán)境量在正常范圍內(nèi)變化,監(jiān)測系統(tǒng)正常,同時考慮到施工期各種因素的影響,異常值可能由偶然誤差或疏失誤差造成,且由于測值變化不突出,可保留或剔除。3算法的改進測試a.針對大壩安全自動化監(jiān)測系統(tǒng)計算機自動識別異常值的問題,對基于傳統(tǒng)的概率識別方法進行