ATM 機(jī)交易異常時(shí)的預(yù)警告警機(jī)制及優(yōu)化方案 B題

ATM機(jī)交易異常時(shí)的預(yù)警告警機(jī)制及優(yōu)化方案摘要隨著金融電子化的發(fā)展，ATM機(jī)在金融行業(yè)的應(yīng)用越來越廣泛。然而傳統(tǒng)的ATM監(jiān)測系統(tǒng)缺少能夠快速主動(dòng)識(shí)別并判斷異常種類的功能，所以在交易系統(tǒng)發(fā)生故障時(shí)，難以做到準(zhǔn)確報(bào)警和及時(shí)預(yù)警。為了解決這一問題，我們建立了基于數(shù)據(jù)的統(tǒng)計(jì)模型。在分析了系統(tǒng)發(fā)生異常的原因之后，找到報(bào)警的產(chǎn)生模式，并將這些模式運(yùn)用的預(yù)警當(dāng)中，建立快速高效的故障響應(yīng)機(jī)制。針對問題一，由于工作日和非工作日的交易量存在差別，因此需將已有數(shù)據(jù)按過年前、過年期間、休息日（雙休日和小長假）和正常工作日分別進(jìn)行分析。定義交易量峰谷值這一特征參數(shù)，之后運(yùn)用統(tǒng)計(jì)方法篩選出交易量驟降的異常數(shù)據(jù)點(diǎn)；通過分析響應(yīng)時(shí)間與交易量之間的函數(shù)關(guān)系構(gòu)造CPU載荷這一特征參數(shù)；利用方差分析法中的雙次N值比較法，得出后端CPU載荷正常范圍的閾值為8.32,篩選出后端CPU載荷過大所導(dǎo)致的異常數(shù)據(jù)點(diǎn)；通過構(gòu)建自組織映射模型（SOM）,將數(shù)據(jù)聚類后篩選出離群數(shù)據(jù)點(diǎn)。通過三種方式篩選，共得到已給數(shù)據(jù)中的10條異常交易記錄，如4月16日出現(xiàn)的數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進(jìn)程異常、4月14日發(fā)生的后端操作系統(tǒng)CPU載荷過大。針對問題二，建立交易量的差分自回歸模型，定義數(shù)據(jù)下降指標(biāo)，觀察其歷史分布，得到交易量驟降異常的監(jiān)測判據(jù)。分析四個(gè)特征參數(shù)（CPU載荷、交易量、響應(yīng)時(shí)間、成功率）間的相關(guān)性。利用問題一中提取出的異常數(shù)據(jù)點(diǎn)，分工作日和非工作日構(gòu)造樸素貝葉斯分類器，定義四種不同的交易狀態(tài)。對于某一時(shí)刻，求出對應(yīng)不同交易狀態(tài)時(shí)的先驗(yàn)概率。模型根據(jù)先驗(yàn)概率的大小可以精確地判斷系統(tǒng)的狀況，異常發(fā)生時(shí)，模型能實(shí)時(shí)給出異常類型及位置。定義正常狀態(tài)的先驗(yàn)概率比例作為ATM系統(tǒng)的健康度，并且定義健康度下降指標(biāo)來實(shí)時(shí)分析ATM系統(tǒng)交易狀態(tài)。經(jīng)過統(tǒng)計(jì)篩選，確定健康度下降指標(biāo)大于0.2,且分類器顯示狀態(tài)為正常時(shí)，進(jìn)行預(yù)警；而一旦分類器顯示狀態(tài)為異常時(shí)，認(rèn)為系統(tǒng)處于異常狀態(tài)，進(jìn)行報(bào)警。在代入部分真實(shí)數(shù)據(jù)對模型進(jìn)行驗(yàn)證后，發(fā)現(xiàn)能在異常發(fā)生前1?2分鐘提出預(yù)警。通過改變系統(tǒng)參數(shù)的方法對模型進(jìn)行靈敏度分析，發(fā)現(xiàn)系統(tǒng)靈敏度合適，同時(shí)為不同情況下下降指標(biāo)的選取提供依據(jù)。針對問題三，如果提供更多關(guān)于ATM機(jī)交易情況的指標(biāo)，如交易種類、每條交易的記錄（每筆交易時(shí)間、ATM機(jī)編號(hào)、是否成功、響應(yīng)時(shí)間），就能構(gòu)造更精確的特征參數(shù)，實(shí)現(xiàn)對系統(tǒng)實(shí)現(xiàn)局部監(jiān)測，判斷出具體發(fā)生故障位置；若增加數(shù)據(jù)為全年甚至連續(xù)幾年的交易情況，則可以分析有無年周期性或季節(jié)性因素影響，建立更為精確的梳系數(shù)ARIMA時(shí)間序列模型。同時(shí)，基于更大的訓(xùn)練集，能夠提高貝葉斯分類器的精度，使得分類結(jié)果更為準(zhǔn)確。通過大量數(shù)據(jù)的實(shí)驗(yàn)與擬合，驗(yàn)證了所建模型的正確性，并可將其推廣應(yīng)用到解決信息傳輸?shù)谋O(jiān)測、信號(hào)編碼和傳輸?shù)谋O(jiān)測等數(shù)據(jù)流問題，從而幫助服務(wù)商和用戶及時(shí)發(fā)現(xiàn)和解決問題。關(guān)鍵詞：自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）方差分析ARIMA時(shí)間序列貝葉斯分類器目錄TOC\o"1-5"\h\z\o"CurrentDocument"ATM機(jī)交易異常時(shí)的預(yù)警告警機(jī)制及優(yōu)化方案 1B題 1\o"CurrentDocument"摘要 1\o"CurrentDocument"一、 問題重述 4\o"CurrentDocument"問題背景 4待解決問題 5\o"CurrentDocument"研究現(xiàn)狀 5\o"CurrentDocument"二、 問題分析 5\o"CurrentDocument"問題一分析 5問題二分析 6\o"CurrentDocument"問題三分析 6\o"CurrentDocument"三、 符號(hào)說明 6\o"CurrentDocument"四、模型假設(shè) 7\o"CurrentDocument"五、 模型的建立與求解 7數(shù)據(jù)的預(yù)處理 7問題一模型的建立與求解 8\o"CurrentDocument"交易量驟降 8\o"CurrentDocument"基于自組織特征映射神經(jīng)網(wǎng)絡(luò)的異常值篩選模型（SOM） 9后端CPU載荷模型的建立 13問題二模型的建立與求解 155.3.1基于ARIMA的交易量時(shí)序模型 15\o"CurrentDocument"基于貝葉斯定理的異常預(yù)警及監(jiān)測模型 22\o"CurrentDocument"5.3.3.異常數(shù)據(jù)時(shí)間窗口的確定 29問題三模型的建立與求解 30基于更多的交易參數(shù) 30基于更多的數(shù)據(jù)總量 30\o"CurrentDocument"六、 靈敏度分析 31\o"CurrentDocument"七、模型的評價(jià)與推廣 32模型的評價(jià) 32\o"CurrentDocument"模型的推廣 32\o"CurrentDocument"參考文獻(xiàn) 33一、問題重述問題背景隨著中國金融電子化建設(shè)的深入發(fā)展和銀行客戶對金融服務(wù)質(zhì)量要求的提高，ATM機(jī)在金融行業(yè)的應(yīng)用越來越廣泛。然而，很多ATM機(jī)并沒有充分發(fā)揮其先進(jìn)的作用，有些ATM機(jī)經(jīng)常是故障連連，無法提供服務(wù)；有些ATM機(jī)則經(jīng)常發(fā)生錯(cuò)賬或吞卡現(xiàn)象。除了ATM機(jī)自身會(huì)出現(xiàn)機(jī)器故障，ATM交易系統(tǒng)也常會(huì)因?yàn)檐浖收匣騻鬏斁W(wǎng)絡(luò)故障，造成ATM機(jī)無法正常使用。因此如何對于銀行ATM交易系統(tǒng)的發(fā)生的異常進(jìn)行預(yù)報(bào)和告警，從而對ATM交易系統(tǒng)進(jìn)行優(yōu)化，使得其能夠更好的服務(wù)大眾，成為了銀行在優(yōu)化服務(wù)時(shí)的關(guān)注點(diǎn)之一。銀行的ATM交易系統(tǒng)包括前端和后端兩個(gè)部分。銀行總行數(shù)據(jù)中心監(jiān)控系統(tǒng)通過匯總統(tǒng)計(jì)每家分行的業(yè)務(wù)量、交易成功率、交易響應(yīng)時(shí)間，來做出數(shù)據(jù)分析，從而捕捉整個(gè)前端和后端整體應(yīng)用系統(tǒng)運(yùn)行情況以及時(shí)發(fā)現(xiàn)異?；蚬收?。分行1側(cè)服務(wù)器分行2側(cè)服務(wù)器分行3側(cè)服務(wù)器分行4側(cè)服務(wù)辭1ri 「i [i|° O ' L\ L1□k i/\/\/\/\ATM終端ATM錢券ATM終端ATM餐端ATMS?ATM終端ATMS端ATMS?圖1:ATM系統(tǒng)拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)圖ATM常見的故障場景包括但不限于如下情形：（1） 分行側(cè)網(wǎng)絡(luò)傳輸節(jié)點(diǎn)故障，前端交易異常，導(dǎo)致業(yè)務(wù)量陡降；（2） 分行側(cè)參數(shù)數(shù)據(jù)變更或者配置錯(cuò)誤，前端交易異常，影響交易成功率指標(biāo)；（3） 數(shù)據(jù)中心后端處理系統(tǒng)異常（如操作系統(tǒng)CPU載荷過大），影響交易響應(yīng)時(shí)間指標(biāo)；（4） 數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進(jìn)程異常，導(dǎo)致交易失敗或響應(yīng)緩慢。待解決問題附件中給出了某商業(yè)銀行ATM應(yīng)用系統(tǒng)某分行的交易統(tǒng)計(jì)數(shù)據(jù)。需要建立數(shù)學(xué)模型解決的如下問題：（1） 選擇、提取和分析ATM交易狀態(tài)的特征參數(shù)；（2） 設(shè)計(jì)一套交易狀態(tài)異常檢測方案，在對該交易系統(tǒng)的應(yīng)用可用性異常情況下能做到及時(shí)報(bào)警，同時(shí)盡量減少虛警誤報(bào)；（3） 若可增加采集的數(shù)據(jù)，基于需擴(kuò)展的數(shù)據(jù)，尋找達(dá)到任務(wù)（1）（2）中目標(biāo)的方法。研究現(xiàn)狀近十幾年來，伴隨著信息化的推進(jìn)，基于數(shù)據(jù)分析的預(yù)警和報(bào)警系統(tǒng)越來越受到人們的重視，成為數(shù)據(jù)科學(xué)研究的重點(diǎn)。現(xiàn)有的主要手段包括以下幾種：（1） 統(tǒng)計(jì)分析。通過大量的歷史數(shù)據(jù)生成系統(tǒng)的正常行為輪廓，自適應(yīng)的學(xué)習(xí)系統(tǒng)的正常行為模式。五個(gè)經(jīng)典的異常檢測的統(tǒng)計(jì)模型：操作模型、平均值和標(biāo)準(zhǔn)差模型、多元模型、馬爾科夫過程和時(shí)間序模型［1］。（2） 智能算法。采用仿生的神經(jīng)網(wǎng)絡(luò)模型，可以有效的對系統(tǒng)進(jìn)行有監(jiān)督或無監(jiān)督學(xué)習(xí)，歸納出型的輸入輸出關(guān)系，由此進(jìn)行判斷。同時(shí)神經(jīng)網(wǎng)絡(luò)可以和一些智能算法如遺傳算法、退火算法結(jié)合起來，提高有效性［2］［3］。（3） 貝葉斯技術(shù)。貝葉斯技術(shù)是一種概率論的推理技術(shù)。它將時(shí)間的先驗(yàn)概率與后驗(yàn)概率聯(lián)系起來，利用先驗(yàn)信息和樣本數(shù)據(jù)確定時(shí)間的后驗(yàn)概率。（4） 模式預(yù)測。模式預(yù)測的目標(biāo)則是在樣本特征和樣本標(biāo)簽之間建立起有一種有效的映射關(guān)系。Teng將時(shí)間序列和模式預(yù)測結(jié)合起來，提出基于時(shí)間的推理方法，將偏離預(yù)測的行為看成是異常［4］。二、問題分析問題一分析由于工作日和非工作日的交易量存在差別，因此首先將已有數(shù)據(jù)分為過年前、過年期間、休息日（雙休日和小長假）和正常工作日四類。題目中要求提取并分析特征參數(shù)，通過觀察和分析附件中給出的數(shù)據(jù)，發(fā)現(xiàn)若僅選擇已交易量、成功率、響應(yīng)時(shí)間作為特征參數(shù)，不能夠全面的反映導(dǎo)致交易異常的原因。因此在分析三者之間的相互關(guān)系后，還需提取出新的指標(biāo)作為特征參數(shù)。之后對四類交易日期分別進(jìn)行假設(shè)檢驗(yàn)，分析參數(shù)變化與對應(yīng)交易發(fā)生時(shí)間的關(guān)系以及參數(shù)間是否相互獨(dú)立。綜合上述分析結(jié)果后，對1~4的數(shù)據(jù)進(jìn)行處理，篩選出異常點(diǎn)。問題二分析題目中的給出四種故障最終都通過業(yè)務(wù)量、成功率、響應(yīng)時(shí)間以及三者間的關(guān)系反應(yīng)出來，所以以問題一中提取的特征參數(shù)為依據(jù)，對這些異常進(jìn)行刻畫。為了及時(shí)報(bào)警同時(shí)減少虛警誤報(bào)，運(yùn)用數(shù)理統(tǒng)計(jì)中的貝葉斯定理，根據(jù)問題一中已篩選出的異常點(diǎn)計(jì)算出每種特征參數(shù)可能出現(xiàn)異常的先驗(yàn)概率，并通過選擇合適的分類器，對各個(gè)異常點(diǎn)進(jìn)行分類報(bào)警。構(gòu)建趨勢型指標(biāo)可以提前對系統(tǒng)出現(xiàn)的異常進(jìn)行預(yù)警。問題三分析考慮基于橫向的數(shù)據(jù)拓展，通過建立新的參數(shù)，對新信息進(jìn)行分析建模，可以細(xì)分系統(tǒng)的交易狀態(tài)，以進(jìn)一步剔除隨機(jī)因素以及操作人的影響。考慮基于縱向數(shù)據(jù)，可為問題二模型提供更多樣本，整體提高系統(tǒng)的精度。三、符號(hào)說明st步長指數(shù)訓(xùn)練樣本的指數(shù)D(t)輸入向量us)pqdXk(q)Xk(m)UCD(t)的BMU指數(shù)學(xué)習(xí)系數(shù)自回歸項(xiàng)數(shù)滑動(dòng)平均項(xiàng)數(shù)成為平穩(wěn)序列所做的差分次數(shù)預(yù)報(bào)向量時(shí)間序列實(shí)時(shí)的數(shù)據(jù)下降指標(biāo)獨(dú)立的類別變量F，…,FN特征變量n特征數(shù)量Zp(C)P(i\C證據(jù)因子類先驗(yàn)概率獨(dú)立概率分布S交易狀態(tài)，Se{R,Ei，E2,E3,E4}rijA相關(guān)系數(shù)矩陣特征值XI特征參數(shù)e{交易量，響應(yīng)時(shí)間，成功率，CPU載荷，預(yù)測交易量}bjp(R)s= 工p 數(shù)據(jù)清洗在數(shù)據(jù)來源可靠的條件下，進(jìn)行數(shù)據(jù)挖掘之前，還必須對數(shù)據(jù)的質(zhì)量進(jìn)行評估。因?yàn)橐延袛?shù)據(jù)大多來自計(jì)算機(jī)的自動(dòng)獲取，所以結(jié)果有一定幾率出現(xiàn)異常，因此在對原始數(shù)據(jù)進(jìn)行缺失值、重復(fù)值的篩選與處理后，發(fā)現(xiàn)原始數(shù)據(jù)中沒有重復(fù)，但有27組數(shù)據(jù)缺失。 表1 數(shù)據(jù)清洗在數(shù)據(jù)來源可靠的條件下，進(jìn)行數(shù)據(jù)挖掘之前，還必須對數(shù)據(jù)的質(zhì)量進(jìn)行評估。因?yàn)橐延袛?shù)據(jù)大多來自計(jì)算機(jī)的自動(dòng)獲取，所以結(jié)果有一定幾率出現(xiàn)異常，因此在對原始數(shù)據(jù)進(jìn)行缺失值、重復(fù)值的篩選與處理后，發(fā)現(xiàn)原始數(shù)據(jù)中沒有重復(fù)，但有27組數(shù)據(jù)缺失。 表1：1?4月缺失的數(shù)據(jù)

日期 時(shí)間 日期 時(shí)間W信息貢獻(xiàn)率系統(tǒng)健康度，Se{r,E1，E2,E3}W時(shí)間窗口內(nèi)遞減的分鐘數(shù)最小時(shí)間窗口叫第i天的健康度下降指標(biāo)sl第l天的健康度工D(n)T n=i-WW+1健康度下降指標(biāo)四、模型假設(shè)1、 ATM系統(tǒng)的數(shù)據(jù)僅與系統(tǒng)狀態(tài)有關(guān)，而與持卡人的操作水平無關(guān)。2、 假設(shè)題目中所給數(shù)據(jù)是2017年，工作日和節(jié)假日按照2017年劃分。3、 假設(shè)日交易總量差異僅與工作日、節(jié)假日有關(guān)，不存在洗錢等行為。4、 假設(shè)僅考慮該銀行ATM機(jī)前后端系統(tǒng)應(yīng)用程序故障。5、 假設(shè)所給數(shù)據(jù)均為真實(shí)可靠的。五、模型的建立與求解數(shù)據(jù)的預(yù)處理（1） 數(shù)據(jù)分類首先，對整體數(shù)據(jù)進(jìn)行宏觀上的探索。根據(jù)數(shù)據(jù)交易量的時(shí)序變化以及銀行業(yè)務(wù)的特點(diǎn)，發(fā)現(xiàn)雙休日的日交易量略多于工作日，而節(jié)假日（即春節(jié)前后和清明節(jié)三天小長假）的日交易量則明顯多于工作日和雙休日。于是根據(jù)日交易量將交易日期分為工作日、雙休日和節(jié)假日，便于后續(xù)對于數(shù)據(jù)的準(zhǔn)確使用。

1月28日07：311月31日07：211月28日08：223月19日07：181月29日07：243月19日07：191月29日08：213月30日05：281月30日07：284月16日10：04~10：21在處理非連續(xù)缺失數(shù)據(jù)時(shí)，選擇利用均值填補(bǔ)遺漏值，如：1月31日缺失的數(shù)據(jù)采用上下相鄰的兩分鐘數(shù)據(jù)平均值補(bǔ)齊；在處理連續(xù)缺失數(shù)據(jù)時(shí)，則采用同類別均值填補(bǔ)遺漏值，如4月16日缺失的數(shù)據(jù)采用前一天的數(shù)據(jù)補(bǔ)齊［5］。問題一模型的建立與求解交易量驟降（1）模型分析由于交易量在一天中的變化趨勢相似，但統(tǒng)計(jì)指標(biāo)的數(shù)值相差大，和具體的日期相關(guān)性強(qiáng)，且數(shù)值易受到多種隨機(jī)因素的影響，噪聲較大。所以通過構(gòu)造峰-谷值（q）這一特征參數(shù)并結(jié)合統(tǒng)計(jì)分析，準(zhǔn)確的篩選出交易量異常值。對于第i分鐘的交易量d,，其峰-谷值（w）為e= 3+ 2+ 1+di+l+di+2+di+3_d61通過對第i分鐘前后三分鐘取平均，來準(zhǔn)確地描述驟降的含義，同時(shí)減小隨機(jī)因素對結(jié)果的影響，提高結(jié)果的可靠性。通過分析圖2知，相較于正態(tài)分布，q分布峰度更高、尾部更肥，統(tǒng)計(jì)學(xué)上將這種分布特點(diǎn)稱為“尖峰肥尾”，其中“肥尾”解釋為信息偶爾以成堆的方式出現(xiàn)，而不是以平滑連續(xù)的方式出現(xiàn)。為了合理檢測出數(shù)據(jù)中不符合統(tǒng)計(jì)規(guī)律的點(diǎn)，采用與正態(tài)分布中33分位數(shù)一致的點(diǎn)作為異常檢測的閾值，即認(rèn)為數(shù)據(jù)中有99.74%的數(shù)據(jù)為正常值［6］，其余的為異常值。由此得到峰-谷值（0）的閾值為?=-131，此時(shí)有?V-131異常?>-131正常根據(jù)?的閾值確定出原始數(shù)據(jù)中的65組異常數(shù)據(jù)（已經(jīng)剔除掉了數(shù)據(jù)量突增的點(diǎn)）。同時(shí)因?yàn)楣收显诔霈F(xiàn)后會(huì)持續(xù)一段時(shí)間，所以在去除某一分鐘突然出現(xiàn)交易量下降而下一分鐘交易量又恢復(fù)正常的數(shù)據(jù)時(shí)間點(diǎn)后，最終得到以下兩個(gè)交易異常情況1月25日16:04~16:061月26日13:26~13:272月10日16:28~16:32基于自組織特征映射神經(jīng)網(wǎng)絡(luò)的異常值篩選模型（SOM）（1） 模型分析相比于交易量這一特征參數(shù)，響應(yīng)時(shí)間和成功率不具有明顯的分布特征。因此在分析響應(yīng)時(shí)間和成功率時(shí)，采用機(jī)器學(xué)習(xí)這一方式，通過聚類來判斷數(shù)據(jù)的分布情況。由于維數(shù)和樣本量龐大，而有監(jiān)督的機(jī)器學(xué)習(xí)在訓(xùn)練過程中，需要預(yù)先給網(wǎng)絡(luò)提供期望輸出，因此對于本題中無期望輸出、無監(jiān)督的情況下，選擇無監(jiān)督學(xué)習(xí)中自組織特征映射網(wǎng)絡(luò)（SOM）來解決問題。（2） 模型簡介1981年芬蘭Helsink大學(xué)的TKohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過程是自動(dòng)完成的，是一種典型的無監(jiān)督學(xué)習(xí)。自組織特征映射正是根據(jù)這一看法提出來的，其特點(diǎn)與人腦的自組織特性相類似。通過訓(xùn)練，建立起這樣一種布局：它使得每個(gè)權(quán)值向量都位于輸入向量聚類的中心。一旦SOM網(wǎng)完成訓(xùn)練，就可以用于對訓(xùn)練數(shù)據(jù)或其他數(shù)據(jù)進(jìn)行聚類［7］。（3）模型的建立因?yàn)镾OM訓(xùn)練采用的是競爭性學(xué)習(xí)的方式，所以當(dāng)訓(xùn)練樣本提供給網(wǎng)絡(luò)的時(shí)候，就會(huì)計(jì)算它與每個(gè)權(quán)重之間的歐氏距離。將權(quán)重向量與輸入最相似的神經(jīng)元稱為最佳匹配單元(BMU)。通過改變SOM柵格中BMU的權(quán)重，使與其鄰近的神經(jīng)元向著輸入向量調(diào)整。從而BMU的量會(huì)隨著時(shí)間和距離而降低。因此擁有權(quán)值WV(s)的神經(jīng)元v的更新公式為[8]WV(s+1)=WV(s)+0(u,v,s)a(s)(D(t)-Wv(s))其中s為步長指數(shù)t為訓(xùn)練樣本的指數(shù)D(t)為輸入向量u為D(t)的BMU指數(shù)a(s)為一個(gè)單調(diào)遞減的學(xué)習(xí)系數(shù)0(u,v,s)為在步長為s下給出神經(jīng)元u和神經(jīng)元V之間距離的鄰近函數(shù)t可以系統(tǒng)地從(0丄2,...,T-1)中多次重復(fù)選取(T為訓(xùn)練樣本的大小)。也可以隨機(jī)的從數(shù)據(jù)集中取出(Bootstrap抽樣)，或采用其他一些抽樣方法(如Jackknifing),在此選擇系統(tǒng)地訓(xùn)練所有樣本。

（4）模型的實(shí)現(xiàn)通過MATLAB自帶的神經(jīng)網(wǎng)絡(luò)工具箱代碼進(jìn)行編程，對交易量和響應(yīng)時(shí)間兩個(gè)數(shù)據(jù)進(jìn)行訓(xùn)練。訓(xùn)練過程如下1、 標(biāo)準(zhǔn)化。采用一般的標(biāo)準(zhǔn)差法進(jìn)行標(biāo)準(zhǔn)化。2、 距離函數(shù)的確定。由于考慮到輸入向量為二維向量，且數(shù)據(jù)量較大，所以采用歐式距離。3、 神經(jīng)元數(shù)量的選擇（競爭層的大?。Ｉ窠?jīng)元的數(shù)量會(huì)極大的影響到分類的效果。過多的神經(jīng)元會(huì)導(dǎo)致分類結(jié)果過細(xì)，需要人工進(jìn)行二次分類，甚至?xí)霈F(xiàn)“死節(jié)點(diǎn)”，即在訓(xùn)練過程中，某個(gè)節(jié)點(diǎn)從未獲勝過且遠(yuǎn)離其他獲勝節(jié)點(diǎn)，因此它們的權(quán)值從未得到過更新；而過少的神經(jīng)元將會(huì)導(dǎo)致分類失敗。經(jīng)過多次嘗試、篩選后發(fā)現(xiàn)10*10的競爭層網(wǎng)絡(luò)效果最好，能順利明確的將神經(jīng)元分類。4、 選取初始權(quán)值的基本原則是盡量使權(quán)值的初始位置與輸入樣本的分布區(qū)域充分重合，避免出現(xiàn)大量的初始“死節(jié)點(diǎn)”，在此利用從訓(xùn)練集中隨機(jī)抽取m=100個(gè)輸入樣本作為初始權(quán)值。5、 學(xué)習(xí)率的選擇。待分類的數(shù)據(jù)量較大這一明顯特點(diǎn)，學(xué)習(xí)率過大會(huì)影響精度，容易產(chǎn)生過擬合；而學(xué)習(xí)率小則可能導(dǎo)致算法效率低下，花費(fèi)資源過長。湖北工業(yè)大學(xué)的劉幺和等［9］指出，采用一種學(xué)習(xí)率隨迭代次數(shù)下降的動(dòng)態(tài)

學(xué)習(xí)率可以達(dá)到很好的優(yōu)化效果。在訓(xùn)練開始時(shí)，學(xué)習(xí)率可以選取較大的值，之后以較快的速度下降，這樣有利于快速捕捉到輸入向量的大致結(jié)構(gòu)；之后學(xué)習(xí)率在較小的值上緩降至0值，這樣精細(xì)地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。這種動(dòng)態(tài)學(xué)習(xí)率的具體函數(shù)為7=Ae圖6：SOM訓(xùn)練過程拓?fù)鋱DMATLAB訓(xùn)練結(jié)果如下經(jīng)過三次訓(xùn)練后，SOM將131040個(gè)樣本數(shù)據(jù)分類到了100個(gè)神經(jīng)元之中，神經(jīng)元之間的距離反映了其離群的程度。圖7：神經(jīng)元距離圖圖7中小六邊形為神經(jīng)元，紅線代表神經(jīng)元之間的距離，線的顏色越深表示相鄰的神經(jīng)元之間距離越遠(yuǎn)，由圖7可知第1、2、11、12號(hào)神經(jīng)元有明顯的離群特征。考察其數(shù)據(jù)可知11、12號(hào)神經(jīng)元對應(yīng)第二類異常，共12組；1、2號(hào)神經(jīng)元對應(yīng)第四類異常，共19組。部分結(jié)果如下表2：不同神經(jīng)元對應(yīng)的異常類型日期時(shí)間成功率響應(yīng)時(shí)間神經(jīng)元02092170.766,7351202092190.877,6911202092200.826,6841202092270.817,1681202092280.726,3111202092290.826,5521203093040.6016,896110323480.1846,25610323490.3139,37620323500.0050,62410323510.0653,54310323520.1449,01810323530.1349,59310323540.0057,21110323550.0653,88910323560.1747,39710323570.1051,69710323580.0056,75810323590.1945,991103231000.2644,476103231010.7928,8202由表2可見分類效果良好，因此得到歷史數(shù)據(jù)中的故障情況如下同時(shí)經(jīng)過對結(jié)果的分析，可知第二類錯(cuò)誤其異常值可能存在不連續(xù)分布。猜測可能是因?yàn)榈诙惍惓Ｊ怯捎谀骋环中袀?cè)網(wǎng)絡(luò)節(jié)點(diǎn)故障所致，與系統(tǒng)后端的異常相比，分行發(fā)生交易請求不連續(xù)（特別在交易量本來就低的凌晨時(shí)段），所以出現(xiàn)了成功率較低的異常點(diǎn)斷續(xù)分布的情況。分行側(cè)網(wǎng)絡(luò)出現(xiàn)故障1月30日06:36~06:38數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進(jìn)程異常2月09日02:17~02:293月23日00:47~01:044月16日06:00~06:035.2.3后端CPU載荷模型的建立（1）模型分析由題目所給出的條件和信息可知，一筆交易沿著ATM前端經(jīng)過分行側(cè)網(wǎng)絡(luò)節(jié)點(diǎn)到后端服務(wù)器，經(jīng)過處理后再原路返回。由前面的假設(shè)，在系統(tǒng)其它功能正常的情況下，單筆交易的響應(yīng)時(shí)間只受中心服務(wù)器處理速度的影響，即每一筆交易響應(yīng)時(shí)間的差異是由中心處理器處理速度不同引起的。在不考慮側(cè)網(wǎng)絡(luò)節(jié)點(diǎn)的故障的情況下，當(dāng)后端中心服務(wù)器的負(fù)載過大的時(shí)候，會(huì)表現(xiàn)出單筆交易響應(yīng)時(shí)間較長這一特征;CPU載荷情況還會(huì)受到同一時(shí)刻并行處理事務(wù)數(shù)量的影響，在CPU載荷大的時(shí)刻，交易量會(huì)表現(xiàn)出相對增加這一特征。因此認(rèn)為只有同時(shí)滿足單筆交易響應(yīng)時(shí)間長、單位時(shí)刻交易量大這兩個(gè)特征的異常點(diǎn)，才能被判斷為CPU過載。引入CPU載荷指數(shù)L作為評估后端中心服務(wù)器交易處理情況的特征參數(shù)。為了避免某一時(shí)刻由于單筆交易響應(yīng)時(shí)間和交易量中其中一個(gè)值過大而另一值正常，造成對CPU過載的誤判，所以在定義CPU載荷指數(shù)時(shí)引入對數(shù)計(jì)算，來保證L值大時(shí)，交易量和響應(yīng)時(shí)間均較大。同時(shí)為響應(yīng)時(shí)間增加一個(gè)1.4倍的指數(shù)因子使得L值對響應(yīng)時(shí)間更加敏感。綜上，定義CPU載荷指數(shù)L為L=log（N）xlog（r）1'4其中N為每分鐘的交易量T為每筆交易的平均響應(yīng)時(shí)間與交易量一樣，CPU載荷指數(shù)L也是一個(gè)隨時(shí)間呈現(xiàn)周期性變化的量。在此將第三類的異常定義為CPU載荷指數(shù)明顯大于正常值，并且認(rèn)為當(dāng)ATM系統(tǒng)出現(xiàn)異常情況時(shí)，之后一段時(shí)間內(nèi)均會(huì)連續(xù)出現(xiàn)異常；而當(dāng)只有單個(gè)點(diǎn)異常時(shí)，不能判定為ATM系統(tǒng)出現(xiàn)異常。（2）閾值的確定對CPU載荷指數(shù)的數(shù)據(jù)進(jìn)行探索，發(fā)現(xiàn)其正常值數(shù)量巨大，離群點(diǎn)較少，具有和重尾分布相似的分布特征。相比于正態(tài)分布，其部分統(tǒng)計(jì)參數(shù)容易受到離群點(diǎn)的影響（如標(biāo)準(zhǔn)差），因此可應(yīng)用方差分析法來尋找其置信區(qū)間。方差分析法作為一種數(shù)理統(tǒng)計(jì)方法廣泛應(yīng)用于氣象、水文、地震等行業(yè)數(shù)據(jù)的科學(xué)統(tǒng)計(jì)與分析，常被用來計(jì)算最新采集數(shù)據(jù)與均值的離散程度。正常的CPU載荷的數(shù)據(jù)分布集中在一定范圍內(nèi)，而當(dāng)數(shù)據(jù)變化的絕對值超過N倍標(biāo)準(zhǔn)差，則說明數(shù)據(jù)存在異常。在利用方差分析數(shù)據(jù)異常時(shí)，N的取值通常可采用兩種方法來實(shí)現(xiàn)（1） 單次N值比較法。通常情況下N值默認(rèn)為3，即數(shù)據(jù)變化超過3倍標(biāo)準(zhǔn)方差即認(rèn)為該點(diǎn)數(shù)據(jù)不正常。當(dāng)這種不正常的數(shù)據(jù)點(diǎn)個(gè)數(shù)超過用戶設(shè)定的某個(gè)數(shù)值時(shí)即認(rèn)為數(shù)據(jù)存在異常，其中N的取值和不正常數(shù)據(jù)點(diǎn)個(gè)數(shù)可由用戶根據(jù)被測項(xiàng)類型與長期統(tǒng)計(jì)結(jié)果具體設(shè)定，通過該方法可檢測出數(shù)據(jù)超出3倍均方差的數(shù)據(jù)異常。（2） 雙次N值比較法。利用第1次N值比較去除干擾，即認(rèn)為數(shù)據(jù)變化超過N次標(biāo)準(zhǔn)方差的數(shù)據(jù)點(diǎn)為干擾點(diǎn)，去掉干擾點(diǎn)后進(jìn)行第2次N值比較，通常取N為2，即去掉干擾后，數(shù)據(jù)變化超過2倍方差的數(shù)據(jù)個(gè)數(shù)超過用戶設(shè)定的某個(gè)數(shù)值時(shí)即認(rèn)為數(shù)據(jù)存在異常。在分析CPU載荷的數(shù)據(jù)時(shí)，發(fā)現(xiàn)CPU載荷存在極大偏離值，因此選用雙次N值比較法更為合理。根據(jù)雙次N值比較法的要求，首先進(jìn)行第一次N值比較處理，在去除極端異常值后求出CPU載荷的平均值和方差作為其特征參數(shù)。經(jīng)過兩次N值比較處理后的結(jié)果如下表3：兩次N值比較處理后的結(jié)果第一次N值比較第二次N值比較49515491606105039193異常點(diǎn)數(shù)量28117由第三類異常的定義，找出偶然出現(xiàn)的單個(gè)時(shí)間點(diǎn)異常后，將這類點(diǎn)歸為正常點(diǎn)。最終找出來了62組異常的數(shù)據(jù)，并根據(jù)這些數(shù)據(jù)的連續(xù)性將其劃分為三個(gè)出現(xiàn)連續(xù)異常的時(shí)間段3月01日22:04~22:134月05日07:17~07:234月14日07:17~07:23

5.3問題二模型的建立與求解5.3.1基于ARIMA的交易量時(shí)序模型（1）模型分析與預(yù)處理使用MATLAB繪制部分天數(shù)日交易量隨時(shí)間變化的分布圖。通過對圖像的觀察，發(fā)現(xiàn)不論是工作日還是非工作日，交易量隨時(shí)間的變化趨勢及發(fā)生變化的時(shí)間段大致相同，滿足時(shí)間序列的特征，因此使用時(shí)序模型對交易量進(jìn)行分析。圖9：日交易量隨時(shí)間的變化分布由圖9可看出，雖然大體上交易量隨的時(shí)間變化具有直觀的趨勢性，但就單個(gè)數(shù)據(jù)而言，模型的噪聲較大，不利于后續(xù)分析，也不能對某一分鐘作出精確預(yù)測，因此首先需要對數(shù)據(jù)進(jìn)行降噪處理。由模型一中篩選出的異常點(diǎn)可知，一個(gè)異常所持續(xù)的時(shí)間一般為三至五分鐘。為了去除噪聲同時(shí)盡可能不丟失原有數(shù)據(jù)特征，選取三分鐘作為時(shí)間窗口，以三分鐘內(nèi)交易量的平均值作為其對應(yīng)交易量，結(jié)果如下由圖10可驗(yàn)證取三分鐘作為時(shí)間窗口時(shí)，可較好的降低交易量變化過程中的產(chǎn)生噪聲，使得后續(xù)建模過程更加精確。同時(shí)，由于時(shí)序模型的主要目的是依據(jù)歷史的健康數(shù)據(jù)，對未來交易量的正常值進(jìn)行預(yù)測，為異常的判斷提供實(shí)時(shí)依據(jù)。因此在后續(xù)的建模過程中已去除模型一中篩選出來的異常數(shù)據(jù)，并采取相鄰數(shù)據(jù)取平均的方法補(bǔ)齊，之后利用相應(yīng)的健康數(shù)據(jù)進(jìn)行擬合。（2）模型簡介時(shí)間序列法是一種定量預(yù)測方法，在統(tǒng)計(jì)學(xué)中作為一種常用的預(yù)測手段被廣泛應(yīng)用。時(shí)間序列分析則是根據(jù)系統(tǒng)觀測得到的時(shí)間序列數(shù)據(jù)，通過擬合和參數(shù)估計(jì)來建立數(shù)學(xué)模型的理論和方法。對于平穩(wěn)時(shí)間序列，可使用通用ARMA模型（自回歸滑動(dòng)平均模型）及其特殊情況的自回歸模型、滑動(dòng)平均模型或組合ARMA模型等來進(jìn)行擬合。當(dāng)觀測值多于50個(gè)時(shí)一般都采用ARMA模型。對于非平穩(wěn)時(shí)間序列則要先將觀測到的時(shí)間序列進(jìn)行差分運(yùn)算，化為平穩(wěn)時(shí)間序列，再用適當(dāng)模型去擬合這個(gè)差分序列。（3）平穩(wěn)性檢驗(yàn)（ADF檢驗(yàn)）通過對交易量隨時(shí)間變化趨勢的分析，發(fā)現(xiàn)當(dāng)差分次數(shù)d=0時(shí)，數(shù)據(jù)具有明顯的周期性，不滿足ARMA模型對數(shù)據(jù)平穩(wěn)性的要求，因此判斷交易量的時(shí)間序列為非平穩(wěn)時(shí)間序列。此時(shí)使用ARMA模型的推廣模型ARIMA模型來對交易量進(jìn)行分析。ARIMA模型即差分自回歸滑動(dòng)平均模型，是時(shí)間序列預(yù)測分析方法之一。不同于ARMA模型的只能用于檢驗(yàn)平穩(wěn)時(shí)間序列，ARIMA模型在對原始時(shí)間序列進(jìn)行差分后，將非平穩(wěn)的時(shí)間序列組合成平穩(wěn)的序列進(jìn)而實(shí)現(xiàn)對非平穩(wěn)時(shí)間序列的分析。在ARIMA（p,d,q）中，AR為“自回歸”，p為自回歸項(xiàng)數(shù)；MA為“滑動(dòng)平均”，q為滑動(dòng)平均項(xiàng)數(shù)，d為使之成為平穩(wěn)序列所做的差分次數(shù)（階數(shù)）。其數(shù)學(xué)表達(dá)式為：1-￡如］（1-L）dX,=|1+￡如］,

<，=1丿 <=1 丿其中L是滯后算子deZ,d>0因?yàn)槠椒€(wěn)性檢驗(yàn)其實(shí)也是探求ARIMA模型中d值的過程，所以首先進(jìn)行一階差分，即令d=1，繪制出此時(shí)的交易量時(shí)序圖。一階差分后的交易量忖序圖（節(jié)選）1.2 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28時(shí)間（節(jié)選） x104圖12：差分次數(shù)d=1的交易量時(shí)序圖觀察圖12發(fā)現(xiàn)此時(shí)沒有明顯的趨勢性，為了更加嚴(yán)格地檢驗(yàn)一階差分后數(shù)據(jù)的平穩(wěn)性，對差分后的數(shù)據(jù)進(jìn)行ADF檢驗(yàn)。ADF檢驗(yàn)是平穩(wěn)性檢驗(yàn)中最為常用的一種方法，它由美國的兩位統(tǒng)計(jì)學(xué)家D.A.Dickey和W.A.Fuller于20世紀(jì)70年代提出，用以驗(yàn)證其自相關(guān)性系數(shù)是否等于1［10］。在采用MATLAB對交易量時(shí)序的一階差分進(jìn)行ADF檢驗(yàn)后，得到序列的p值小于10-5，證明時(shí)間序列是平穩(wěn)的。同時(shí)計(jì)算序列的自相關(guān)系數(shù)和偏相關(guān)系數(shù)得到的結(jié)果如下:

圖14：差分后序列的偏相關(guān)性圖由圖13和圖14,序列的自相關(guān)系數(shù)具有拖尾性；偏相關(guān)系數(shù)在lag=15時(shí)截?cái)?，在lag=3的時(shí)候也進(jìn)入了置信區(qū)間。因此考慮采用ARIMA(15,l,0)或者ARIMA(3,1,0)模型。AIC準(zhǔn)則定階在驗(yàn)證了使用ARIMA模型的合理性后，需要對模型進(jìn)行定階，這里利用AIC準(zhǔn)則。AIC準(zhǔn)則又稱Akaike信息準(zhǔn)則，是由日本統(tǒng)計(jì)學(xué)家Akaike于1974年提出的。AIC準(zhǔn)則起源于Kullback—Leibler信息量，是信息論與統(tǒng)計(jì)學(xué)的重要研究成果,具有重要的意義［11］。根據(jù)AIC準(zhǔn)則，若設(shè)X為隨機(jī)變量，則X的概率密度為f(x)(其中含有k個(gè)未知參數(shù))，此時(shí)有

f(x)=g(x10°)其中0°=(0°,02,???，0k)T為未知參數(shù)向量f(x)屬于分布族g(x10)K-L是一種用來刻畫f(x)與g(x10)的接近程度的信息量，通過求出K-L的最小值尋得最接近于f(x)的參數(shù)概率密度g(x|0)，其定義為1(f(?)，g(?10))=1f(x)In￡0)dx當(dāng)給定容量為n的樣本時(shí)，設(shè)樣本觀測值x=(x15x2,…,x”)，模型參數(shù)0=(0,02，…,0k)，ln(L(0))為其對數(shù)似然函數(shù)，則AIC信息準(zhǔn)則滿足AIC(k)=-2ln(L(k0(m)))+2k=min其中k0m是模型參數(shù)0=(01，02,???,0$的最大似然估計(jì)k為未知參數(shù)的個(gè)數(shù)，k=p+q+1計(jì)算得到ARIMA(15,1,0)模型的AIC值為408031.5；ARIMA(3,1,0)模型的AIC值為414603.9。選取ARIMA(15,1,0)模型更加合理。5)系數(shù)求解采用最小二乘法估計(jì)參數(shù)。設(shè)X是ARMA(p,q)序列，X的一個(gè)觀測樣本為眉,￡X”?，F(xiàn)取k=t-1，即由｛Xt，X—…,X]｝的線性組合來預(yù)報(bào)Xt，Xt的估計(jì)量為t-1其系數(shù)滿足如下方程一1Pt-1其系數(shù)滿足如下方程一1P1 …'Pt-2「％1,1「「P1「1-'Pt-3也-1,2=P2_Pt—2Pt-3 …-1_Pt-1,t-1_Pt-1_D-i,jXt-j，j=2,3,…,”j=1t=2,3，…，”、2、2丿S@。）=自Xt—hjXt-jj=2V j=l在Xt的平穩(wěn)可逆域中尋求處玄，使得S(血倪)=min，則滿足上式的處玄稱為＜p,0的(無條件)最小二乘估計(jì)(ULS估計(jì))。利用MATLAB進(jìn)行上述過程，可得到序列ARIMA(15,1,0)o(6)ARMA模型的檢驗(yàn)為了進(jìn)一步檢驗(yàn)ARIMA(15丄0)模型是否符合統(tǒng)計(jì)規(guī)律，利用/檢驗(yàn)判斷數(shù)據(jù)經(jīng)過時(shí)間序列處理后產(chǎn)生的是否為白噪聲。Seriesresid(modl)opo5 10 15 20 25 30圖15：經(jīng)過時(shí)序處理后的數(shù)據(jù)擬合可見模型擬合效果良好，通過模型后的數(shù)據(jù)為白噪聲。下面嚴(yán)格按照理論判若擬合模型的殘差記為￡，它是乞的估計(jì)，記、、八八〉丿 +kHk=笫 ,k=1,2,…,mLjung-Box的/檢驗(yàn)統(tǒng)計(jì)量是k=1n—k檢驗(yàn)的假設(shè)是H0:pk=0，當(dāng)k<m;H、:對某些k<m，pk工0在H)成立時(shí)，若n充分大，於近似于於(m-r)分布，其中r是估計(jì)的模型參數(shù)個(gè)數(shù)。在進(jìn)行於檢驗(yàn)時(shí)，給定顯著水平理，查表得上理分位數(shù)為疋(m-r)。則當(dāng)於>%a(m-r)時(shí)，拒絕H，即認(rèn)為5非白噪聲，模型檢驗(yàn)未通過；而當(dāng)/<%a(m-r)時(shí)，接受H即認(rèn)為5是白噪聲，模型檢驗(yàn)通過。計(jì)算可得模型的Ljung-Box統(tǒng)計(jì)量Z2=5.439<%952(15)，在95%的置信度下通過檢驗(yàn)，因此模型的擬合效果良好［12］。

7）基于ARIMA模型的預(yù)報(bào)已知時(shí)間序列為Xk(m)=叭Xk(mj)+必Xk(m-2)+…+gk(m-p)，m>p在已知前p個(gè)數(shù)據(jù)的情況下，時(shí)間序列的預(yù)報(bào)公式為~0_一 -G,10-…0G10-G201-…0G2Xkq)+Xk+1+0—Gq-100-…1Gq-1\Jp「Gq+0；*0q-1*0q-2 …*… 01 __Gq_工0jXjk+q+1-j_j=q+1 _其中式中常數(shù)項(xiàng)在p<q時(shí)為0冏,j=1,2,…，p0,j>pX(q)=(X(1)，X(2)，…,X(q))T為預(yù)報(bào)向量兩曲線基本重合，可見預(yù)報(bào)的精度良好。（8）系統(tǒng)狀態(tài)的監(jiān)測根據(jù)已建立的ARIMA（15,1,0）模型，利用歷史數(shù)據(jù)對未來數(shù)據(jù)的正常值做出預(yù)測，為數(shù)據(jù)異常的監(jiān)控提供依據(jù)。對于第一類異常，交易量在某個(gè)時(shí)間區(qū)間內(nèi)會(huì)出現(xiàn)明顯的下降，此時(shí)預(yù)測的健康數(shù)據(jù)大于實(shí)際數(shù)據(jù)。兩者之間的差值在一定程度上反映了數(shù)據(jù)的下降情況，但由于數(shù)據(jù)基數(shù)對第一類異常也有影響，因此定義實(shí)時(shí)的數(shù)據(jù)下降指標(biāo)為U= X100%xt

其中xt為時(shí)間序列預(yù)測的三分鐘內(nèi)的平均交易量xt為三分鐘內(nèi)的平均交易量實(shí)際值上式給出了交易量下降的量化指標(biāo)，在系統(tǒng)出現(xiàn)故障時(shí)，這個(gè)值會(huì)明顯偏大因此利用第一問篩選出來的數(shù)據(jù)對U進(jìn)行檢測由圖17可知U是一個(gè)峰度較大的近似正態(tài)分布，大部分值集中在半徑為0.5的0的鄰域中。計(jì)算可知有58個(gè)值小于-1的數(shù)據(jù)點(diǎn)，和第一類異常的數(shù)據(jù)點(diǎn)基本重合。有99%的數(shù)據(jù)大于-0.5,定義U處于［-1,-0.5］時(shí)，系統(tǒng)為亞健康狀態(tài)。第一類異常的報(bào)警、預(yù)警規(guī)則為U>-0.5正常-1<U<—0.5預(yù)警U<-1報(bào)警基于貝葉斯定理的異常預(yù)警及監(jiān)測模型（1）模型分析相比于第一類異常，第二、三、四類異常的發(fā)生更加迅速、隨機(jī)性更加大，而且一般在發(fā)生之前沒有預(yù)兆，這樣給預(yù)測帶來了困難。但是二、三、四類異常其參數(shù)的特征均十分明顯表3：各類異常的參數(shù)特征類別父易成功率指標(biāo)響應(yīng)時(shí)間指標(biāo)交易量指標(biāo)CPU載荷指標(biāo)正常高正常正常正常分行側(cè)網(wǎng)絡(luò)出現(xiàn)故障高正常正常正常數(shù)據(jù)中心后端處理系統(tǒng)異常高緩慢偏高偏高數(shù)據(jù)中心后端處理系統(tǒng)進(jìn)程異常低緩慢正常偏高考察這些數(shù)據(jù)的相關(guān)性，計(jì)算其相關(guān)性矩陣表4：參數(shù)間的相關(guān)性CPU載荷交易量響應(yīng)時(shí)間成功率CPU載荷1.00 0.43 0.02 -0.11

交易量0.431.00-0.03-0.08相應(yīng)時(shí)間0.02-0.031.00-0.37成功率-0.11-0.08-0.371.00可見數(shù)據(jù)之間的相關(guān)性都很低，數(shù)據(jù)之間比較獨(dú)立，說明這些指標(biāo)能夠高效地對系統(tǒng)的狀態(tài)信息進(jìn)行表征。結(jié)合上述特征綜合考慮，引入貝葉斯分類器模型。(2)樸素貝葉斯分類器介紹樸素貝葉斯分類器是一系列在假設(shè)各特征之間強(qiáng)(樸素)獨(dú)立的情況下，以貝葉斯定理為基礎(chǔ)的簡單概率分類器。該分類器模型會(huì)從自有限集合中取出用特征值表示的類標(biāo)簽，之后分配給問題實(shí)例。其中，樸素貝葉斯算法不是訓(xùn)練這種分類器的單一算法，而是一系列基于相同原理的算法：所有樸素貝葉斯分類器都假定樣本每個(gè)特征與其他特征不相正常關(guān)。盡管這些特征相互依賴或者有些特征由其他特征決定，然而樸素貝葉斯分類器認(rèn)為這些屬性在判定類型時(shí)概率分布上是獨(dú)立的［13］。理論上，概率模型分類器是一個(gè)條件概率模型曲件?…,Fn)其中獨(dú)立的類別變量C有若干類別條件依賴于若干特征變量F,…,fn模型分析然而，當(dāng)特征數(shù)量n較大或者每個(gè)特征能取大量值時(shí)，基于概率模型列出概率表變得不現(xiàn)實(shí)。于是修改模型為下式p(p(C|F1, ,Fn)=P(C)p(A,…,FJC)

p(幷,…,F)在實(shí)際應(yīng)用中，只需要關(guān)心分式中的分子部分，因?yàn)榉帜覆⒉灰蕾囉赾，而特征值F又是給定的，所以可以認(rèn)為是分母一個(gè)常數(shù)。此時(shí)分子等價(jià)于聯(lián)合分布模型pc,F1，....,Fn)使用鏈?zhǔn)椒▌tp(c，F(xiàn)1, ,Fn)Xp(C)p(F1，....,Fn\C)Xp(C)p(F1\C)p(F1，....,Fn\C,F1)Xp(C)p(F1|C)p(F2|C)p(F1,,Fn|C,F1,F2)根據(jù)貝葉斯分類器原理中的條件獨(dú)立假設(shè)，每一個(gè)F對其他的特征Fj，j豐i時(shí)是條件獨(dú)立的。此時(shí)有p(F\C,Fj)=p(F\C)聯(lián)合分布模型表示為p(C，F(xiàn)n)=Zp(C)冇p(F\C)Z i=1

其中Z為證據(jù)因子，是一個(gè)只依賴于Fn的縮放因子，當(dāng)特征和變量的值已知時(shí)為常數(shù)。由于分解成所謂的類先驗(yàn)概率p(C)和獨(dú)立概率分布卩卑|C，上述概率模型的可掌控性得到很大的提高。從得出的先驗(yàn)概率中通過比較以及時(shí)序分析得到很多有用信息，通過構(gòu)造特征參量以及求解，直接對系統(tǒng)的狀態(tài)以及將來可能出現(xiàn)的狀態(tài)做出預(yù)警或者報(bào)警。(4)模型建立在前面所述模型的基礎(chǔ)上，從給出的數(shù)據(jù)中建模，并提取出來了發(fā)生異常的時(shí)候的數(shù)據(jù)點(diǎn)。利用這些數(shù)據(jù)點(diǎn)，結(jié)合構(gòu)建的特征參數(shù)(CPU載荷)，構(gòu)造樸素貝葉斯模型。則每一時(shí)刻系統(tǒng)的狀態(tài)一共有以下四種情況：表5：系統(tǒng)的交易狀態(tài)及其對應(yīng)代號(hào)正常分行側(cè)參數(shù)數(shù)據(jù)變更或 數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)者配置錯(cuò)誤 數(shù)據(jù)中心后端處理系統(tǒng)異常 用進(jìn)程異常R E1 E2 E3求出每一種交易狀態(tài)的先驗(yàn)概率:(S)=P(XIS)p(s)p(X)(S)=P(XIS)p(s)p(X)k=1np(xk)k=1其中S為交易狀態(tài)，Se{R,E],E2,E3}X為特征參數(shù)，心e｛交易量，響應(yīng)時(shí)間，成功率，CPU載荷｝5)模型求解首先采用標(biāo)準(zhǔn)差法將數(shù)據(jù)標(biāo)準(zhǔn)化:x'ij=其中—1nx=工Xni=11n—SJ=\-工(xj-xj)2Yni=1標(biāo)準(zhǔn)化之后的數(shù)據(jù)均值為零，標(biāo)準(zhǔn)差為1，無量綱。其次求出各個(gè)狀態(tài)的獨(dú)立概率P(S)nP(Si)=N，i=1,2,3,4,5,6結(jié)果如下表6:各交易狀態(tài)的獨(dú)立概率

交易狀態(tài)SjRE2E3E4P(sj(百分?jǐn)?shù))99.64780.21300.11030.0289之后求解條件概率P(Xj|SJ,由于這些量的分布都是連續(xù)的，所以其概率密度為一連續(xù)函數(shù)，因此只需要求出其概率密度函數(shù)即可。由于樣本數(shù)據(jù)足夠大，所以可用樣本的頻率來求解原始隨機(jī)變量的分布，此處由于各個(gè)數(shù)據(jù)的分布不符合現(xiàn)有已知的標(biāo)準(zhǔn)分布，在概率論中常采用核密度估計(jì)來擬合其密度函數(shù)［14］，屬于非參數(shù)檢驗(yàn)方法之一。其求出的概率密度仍然符合下列規(guī)則：利用概率密度函數(shù)的兩條性質(zhì)f(xd=1-gP(0<x<a)=［f(x)dx其中P(0<x<a)=F(0<x<a)，即概率用頻率近似用MATLAB求解可得到各個(gè)參量的條件分布。對于所有點(diǎn)求出其對應(yīng)各種狀態(tài)的概率后，認(rèn)為最大概率所對應(yīng)的狀態(tài)即是當(dāng)前狀態(tài)。(6)系統(tǒng)全局指標(biāo)的構(gòu)建1、健康度指標(biāo)利用貝葉斯定理以及現(xiàn)有數(shù)據(jù)(先驗(yàn)數(shù)據(jù))可得出現(xiàn)在系統(tǒng)處于各個(gè)狀態(tài)的先驗(yàn)概率p(S),Se｛R,EE2,Ej。但單一的先驗(yàn)概率不能準(zhǔn)確表征系統(tǒng)的健康程度度，例如當(dāng)其他概率相同時(shí)，對｛p(R)=80%p(Ei)=20%｝和sg{r,eE2,e3}｛sg{r,eE2,e3}s=P(R)

工P(S.Y

對Ss=2、健康度下降指標(biāo)在實(shí)際的系統(tǒng)中，系統(tǒng)的各個(gè)參數(shù)隨時(shí)間動(dòng)態(tài)的、連續(xù)的變化，由于數(shù)據(jù)采集精度的限制，只能以最小一分鐘為單位，將數(shù)據(jù)進(jìn)行離散的采集。前面構(gòu)造貝葉斯模型的時(shí)候，利用離散的數(shù)據(jù)對其分布進(jìn)行擬合以達(dá)到將概率連續(xù)化的目的。這里，利用前面已經(jīng)使用過的動(dòng)態(tài)時(shí)間窗口的方法，計(jì)算特征參量在一段時(shí)間內(nèi)的變化，以監(jiān)測系統(tǒng)的連續(xù)變化趨勢。在實(shí)踐中，一個(gè)正常的系統(tǒng)，其系統(tǒng)正常的先驗(yàn)概率p(R)應(yīng)該隨時(shí)間平穩(wěn)，當(dāng)系統(tǒng)進(jìn)入異常狀態(tài)時(shí)，其p(R)會(huì)經(jīng)歷一段連續(xù)下降的過程，利用一段時(shí)間窗口內(nèi)的p(R)進(jìn)行曲線擬合所得的斜率作為衡量，如果斜率隨時(shí)間不斷增大，那系統(tǒng)即將進(jìn)入異常狀態(tài)的可能性就很大。根據(jù)前面的時(shí)間窗口的設(shè)置，計(jì)算每一分鐘的系統(tǒng)健康度下降趨勢，選取統(tǒng)計(jì)時(shí)間窗口W=6，則定義一分鐘內(nèi)的健康度趨勢為￡（si-s）（/-了）二i—W ￡（i-）2l=i—W其中q為第/分鐘的健康度下降趨勢sl為第l分鐘的健康度若健康度趨勢為不斷下降的，則認(rèn)為有很大幾率系統(tǒng)即將發(fā)生異常，計(jì)算W時(shí)間窗口內(nèi)遞減的分鐘數(shù)為：°，少，>q—15Sq_i定義這W時(shí)間窗口內(nèi)的健康度下降指標(biāo)為￡D(n)T—n=i-W -W+1在后面的應(yīng)用中，認(rèn)為當(dāng)健康度下降指標(biāo)T>0.2時(shí)，認(rèn)為系統(tǒng)有很大傾向在向著異常發(fā)展，可以根據(jù)最大的異常先驗(yàn)概率對系統(tǒng)進(jìn)行預(yù)警，在整體異常前提醒工作人員進(jìn)行排查?；谏鲜鲋笜?biāo)，結(jié)合前面的先驗(yàn)概率的計(jì)算，此時(shí)模型不僅能夠?qū)ο到y(tǒng)的異常進(jìn)行報(bào)警，還可以對系統(tǒng)即將發(fā)生的異常進(jìn)行預(yù)警，以保證ATM系統(tǒng)工作的正常。綜上,基于貝葉斯分類器的ATM系統(tǒng)預(yù)警及報(bào)警的模型流程圖如下

（7）模型檢驗(yàn)隨機(jī)從各個(gè)類別的交易狀態(tài)內(nèi)抽取測試組數(shù)據(jù)15組，利用上述的貝葉斯分類器進(jìn)行分類，測試數(shù)據(jù)是否能準(zhǔn)確報(bào)錯(cuò)。表7：各類狀態(tài)實(shí)際報(bào)錯(cuò)次數(shù)與貝葉斯分類后預(yù)測報(bào)錯(cuò)次數(shù)預(yù)測值實(shí)際值RE1E2E3R15000E111410

E200114E300311由表7知，實(shí)際檢驗(yàn)過程中分類器的效果良好。由問題一可知，在3月23日00:49~01:06出現(xiàn)了一次較大的系統(tǒng)異常，為不失一般性，從00:45開始對系統(tǒng)進(jìn)行監(jiān)測直到01:08分結(jié)束。結(jié)果如下：表8：分類器對3月23日00：45~01：08監(jiān)測情況時(shí)間p(R)p(E1)p(E2)pE3) t0:450.520.000.000.000.000:460.360.000.000.000.000:470.500.000.000.000.000:480.040.000.000.080.170:490.000.000.0044.190.330:500.000.000.00126.010.500:510.000.000.00151.560.500:520.000.000.0092.040.500:530.000.000.00200.540.500:540.000.000.00190.320.330:550.000.000.00183.170.330:560.000.000.00182.700.330:570.000.000.00200.440.330:580.000.000.00142.770.330:590.000.000.00129.860.501:000.000.000.00119.970.671:010.000.000.00194.810.671:020.000.000.00195.270.501:030.000.000.00283.420.501:040.000.000.00149.190.501:050.000.150.007.860.331:060.010.000.000.000.171:070.120.000.000.000.001:081.660.000.000.000.17

由第一題結(jié)論可知，此時(shí)系統(tǒng)應(yīng)該是發(fā)生了第三種交易狀態(tài)異常，結(jié)合數(shù)據(jù)和圖20看出，開始發(fā)生異常時(shí)，p(R)也就是系統(tǒng)正常的先驗(yàn)概率迅速下降，而第三種異常的先驗(yàn)概率迅速上升。在異常開始的的第二分鐘(00:48),p(R)<p(e3)，可見變化十分的靈敏。同時(shí)，受到數(shù)據(jù)變化的影響，異常的中間時(shí)段，P(R)保持在較低的水平，而其他的幾種異常的先驗(yàn)概率也有不同程度的上升，但是仍小于p(E3)。在開始異常的第一分鐘(00:47)，系統(tǒng)迅速給出了預(yù)警，在第二分鐘(00:48)系統(tǒng)的預(yù)警變?yōu)榫瘓?bào)，且正確地指出了第三種異常。可見模型反應(yīng)迅速，效果直觀明顯。5.3.3.異常數(shù)據(jù)時(shí)間窗口的確定在離線的異常檢測過程中基于已有的分類模型可以對數(shù)據(jù)點(diǎn)逐一分類，以達(dá)到目的。但是這樣做往往會(huì)忽略前后數(shù)據(jù)之間的關(guān)聯(lián)，某些系統(tǒng)一段連續(xù)的時(shí)間之內(nèi)的異?？赡軙?huì)被判定為很多次異常。設(shè)計(jì)系統(tǒng)時(shí)我們采用了雙次計(jì)數(shù)的方法將比較連續(xù)的異常值進(jìn)行時(shí)間窗口的劃定，從而可以直接生成報(bào)告，知道異常數(shù)據(jù)的時(shí)間跨度。5.4問題三模型的建立與求解5.4.1基于更多的交易參數(shù)（1）交易的種類每一筆種類交易可能會(huì)涉及到不同工作量，比如跨行轉(zhuǎn)賬和查詢余額。而前者需要調(diào)動(dòng)的信息及操作更多，相應(yīng)的會(huì)更加消耗時(shí)間和資源。根據(jù)這些參數(shù)，豐富ATM系統(tǒng)的拓?fù)鋱D，能夠?yàn)楣收系陌l(fā)生以及成因提供更多分析的依據(jù)。如基于交易種類的數(shù)據(jù)，可以更加精確地對前面所述的后臺(tái)CPU載荷進(jìn)行計(jì)算：L'=/*f（N）xg⑺其中N為每分鐘的交易量『為每筆交易的平均響應(yīng)時(shí)間7為修正系數(shù)，針對每一筆交易，根據(jù)其工作量（交易類型）不同（2） 其他分行的數(shù)據(jù)如果能得到其他分行的數(shù)據(jù)，可以減少由于其他原因產(chǎn)生的虛報(bào)后端異常?；谇岸撕蠖讼到y(tǒng)相對獨(dú)立的假設(shè)，若如果多個(gè)分行的數(shù)據(jù)同時(shí)異常，則有很大幾率是后端處理系統(tǒng)發(fā)生了故障；若只有一個(gè)分行的數(shù)據(jù)發(fā)生故障，則更有可能是前端或者分行測網(wǎng)絡(luò)有故障。（3） 用戶的操作細(xì)節(jié)雖然在分析問題前，假設(shè)ATM系統(tǒng)數(shù)據(jù)與持卡人的操作水平無關(guān)，但事實(shí)上每個(gè)人對銀行系統(tǒng)的熟悉程度、對密碼的記憶力、輸入速度都有區(qū)別。如果能提供操作者的操作信息，在建模過程中去除這些因素的干擾，系統(tǒng)的精度將會(huì)得到提升。基于更多的數(shù)據(jù)總量（1）更加精確的時(shí)序模型如果能夠擁有數(shù)量更多的數(shù)據(jù)，則可以建立一個(gè)更加精準(zhǔn)的時(shí)間序列模型。從現(xiàn)有的數(shù)據(jù)來講，ATM交易的筆數(shù)不僅僅只是工作日和非工作日有區(qū)別，一周之內(nèi)的各個(gè)工作日中，ATM交易筆數(shù)也有穩(wěn)定的差別。星期六和星期天的分布也有差別，甚至這些分布隨著月份的變化也會(huì)相應(yīng)的變化，例如一月份和二月份比其ATM交易量日平均值更高。隨著數(shù)據(jù)的增加，可以將各個(gè)時(shí)間序列做進(jìn)一步的細(xì)分，從而可以提高模型的精度，減少誤報(bào)。同時(shí)，ATM交易量還受一些固定節(jié)日的影響。從現(xiàn)有的數(shù)據(jù)來看，一月份由于經(jīng)歷了春節(jié)，在除夕之前的日子可能受工資結(jié)算或者年底資金回籠的影響，交易量與其他日子相比，顯著增加，春節(jié)之后，ATM交易量下降。相類似的，在其他的節(jié)日，人們的消費(fèi)或者資金容易受到節(jié)日的影響。在獲取更多數(shù)據(jù)后，可以對各個(gè)節(jié)日建立不同的序列模型，對可能的異常進(jìn)行預(yù)測，從而應(yīng)對節(jié)日里交易量突增的情況?；跁r(shí)間跨度更大的數(shù)據(jù)，我們可以對數(shù)據(jù)進(jìn)行季節(jié)性分析，建立梳系數(shù)ARIMA模型，使得結(jié)果更加準(zhǔn)確。（2）表現(xiàn)更好的貝葉斯模型貝葉斯分類器模型中，訓(xùn)練數(shù)據(jù)的分布直接決定了先驗(yàn)概率的計(jì)算結(jié)果。如果訓(xùn)練數(shù)據(jù)過少，在對一些沒有出現(xiàn)過的異常進(jìn)行分類時(shí)可能產(chǎn)生嚴(yán)重的錯(cuò)誤。基于更大的數(shù)據(jù)庫，能夠豐富貝葉斯分類器的訓(xùn)練集，從而提高監(jiān)測系統(tǒng)應(yīng)對各種異常的靈敏度與準(zhǔn)確率。六、靈敏度分析系統(tǒng)在實(shí)際的應(yīng)用過程中，數(shù)據(jù)將會(huì)更加復(fù)雜多變，能否保證在遇到異常時(shí)迅速、準(zhǔn)確的預(yù)警對整個(gè)ATM系統(tǒng)的安全十分重要，接下來主要針對預(yù)警系統(tǒng)進(jìn)行靈敏度分析。（1）時(shí)間窗口的改變在定義健康度下降指標(biāo)中，將健康度下降指標(biāo)定義為前六分鐘內(nèi)健康度下降的比例，這樣得到的健康度下降指標(biāo)剔除了隨機(jī)產(chǎn)生的誤差，如果窗口值過小，會(huì)影響報(bào)警的效果。為此分別設(shè)定2-8分鐘的時(shí)間窗口對系統(tǒng)進(jìn)行測試，測試數(shù)據(jù)為3月23日00:00~01:40（包含一段時(shí)間的第四類異常），結(jié)果如下：表9：不同窗口時(shí)長的報(bào)警情況（3月23日00：00~01：40）窗口時(shí)長2345678報(bào)警次數(shù)15.0019.002225232528準(zhǔn)確率遺漏報(bào)警100.00%90.91%80.00%86.96%80.00%71.43%預(yù)警提前時(shí)間2.002.0022111報(bào)警結(jié)束滯后時(shí)間3.004.0066678可見時(shí)間窗口越長，報(bào)警結(jié)束滯后也會(huì)越長，相反預(yù)警提前時(shí)間會(huì)減少，實(shí)際應(yīng)用過程中顯然前一個(gè)指標(biāo)更加重要，同樣還發(fā)現(xiàn)窗口越長，報(bào)警的準(zhǔn)確率會(huì)降低，但是當(dāng)時(shí)間窗口小于3，將會(huì)有異常點(diǎn)被遺漏，這是不允許的。綜合上述分析可知，當(dāng)系統(tǒng)選擇W=3的時(shí)間窗口時(shí)，效果最好。模型對W