ATM交易狀態(tài)的特征分析與異常檢測的數(shù)學模型

ATM交易狀態(tài)的特征分析與異常檢測的數(shù)學模型摘要本文針對ATM交易狀態(tài)進行了指標的分析和異常檢測，基于1~4月份的交易特征量數(shù)據(jù)，應(yīng)用不同的理論建立不同的模型，使交易系統(tǒng)在異常情況下及時作出警報。針對問題一，我們先對三個指標進行了相關(guān)性分析并對圖像進行直觀判斷發(fā)現(xiàn)三個特征量之間并不存在明顯的相關(guān)性，只有交易量與日期和時間存在著相關(guān)性，再對三個指標提取和分析處理特征量，將大量數(shù)據(jù)用SPSS繪制成圖形，發(fā)現(xiàn)易量在1-2月之間相較其他時間有顯著的波動，我們推測是春節(jié)因素的影響,因此分析時將其分段處理。結(jié)合每日交易量圖，工作日和非工作日的日總交易量和每日交易量散點圖并沒有明顯區(qū)別。排除春節(jié)影響的日總交易量平穩(wěn)時間段，將每小時交易量作為個體，發(fā)現(xiàn)其符合正態(tài)分布特征，取其平均值和方差作為特征參數(shù)。對于成功率指標，通過散點圖發(fā)現(xiàn)其在交易量少的時間段波動范圍較大，因此使用一個模型將交易量累加到一定值的平均成功率來替代，處理后提取其平均值和方差作為特征參數(shù)。對于響應(yīng)時間，通過對其圖像的觀察,得到數(shù)據(jù)點分布的特征，同樣提取其方差和平均值作為其特征參數(shù)。針對問題二，我們從三個指標下手，運用K-Means聚類分析來得到三個指標數(shù)據(jù)的正常值和異常值的劃分，在1~4月份的數(shù)據(jù)中隨機挑選一個月數(shù)據(jù)進行分析，通過MATLAB編程得到了交易量，響應(yīng)時間的聚類圖，并通過得到的數(shù)據(jù)和圖像上的聚類點，初步分析得到交易量，響應(yīng)時間，成功率的異常數(shù)據(jù)的范圍，為了提高異常檢測的準確性和減少誤報率，我們又在一個月的指標數(shù)據(jù)內(nèi)隨機抽取三天相互獨立的數(shù)據(jù)進行聚類分析，進一步更改了異常值的范圍，增加了異常檢測數(shù)據(jù)的準確性。與此同時，我們還構(gòu)建了BP神經(jīng)網(wǎng)絡(luò)模型，通過對正常值和異常值的訓練后，可以對成功率和交易時間進行直接分類，更好地達到異常檢測的目的。針對問題三，面對前面模型建立后的不足和對異常檢測發(fā)現(xiàn)的問題，我們提出了系統(tǒng)應(yīng)用進程異常值這一指標，用于分辨故障二三與故障四。同時我們拓展了網(wǎng)絡(luò)負載率的相關(guān)數(shù)據(jù)達到對異常交易檢測的準確性。關(guān)鍵詞:散點圖、方差分析法、聚類分析、神經(jīng)網(wǎng)絡(luò)、特征參數(shù)、異常檢測問題重述近年來隨著ATM機的覆蓋日趨變廣，且其具有無人監(jiān)管、交易量大的特性，對ATM機交易狀態(tài)的特征分析和異常檢測就變得尤為重要，研究ATM機異常故障及時報警的問題具有一定的現(xiàn)實意義。根據(jù)題目要求，需要解決以下幾個問題：1.對具體的ATM機交易統(tǒng)計數(shù)據(jù)進行分析，選擇并提取特征參數(shù)。2.建立交易狀態(tài)異常檢測方案，根據(jù)題目中給出的四種故障情形：故障一：分行側(cè)網(wǎng)絡(luò)傳輸節(jié)點故障，前端交易無法上送請求，導致業(yè)務(wù)量陡降；故障二：分行側(cè)參數(shù)數(shù)據(jù)變更或者配置錯誤，數(shù)據(jù)中心后端處理失敗率增加，影響交易成功率指標；故障三：數(shù)據(jù)中心后端處理系統(tǒng)異常（如操作系統(tǒng)CPU負荷過大）引起交易處理緩慢，影響交易響應(yīng)時間指標；故障四：數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進程異常，導致交易失敗或響應(yīng)緩慢。滿足及時分類報警并減少虛警誤報的要求。3.如何通過更多的相關(guān)資料擴展數(shù)據(jù)更好的完成上述兩問所達目標。問題分析問題一是一個特征分析的問題。首先我們應(yīng)該建立起對特征參數(shù)這一概念的理解，然后再著手分析。考慮先對所給的四種指標值做相關(guān)性分析，看其之間有何聯(lián)系。繼而對各個變量單獨檢驗，觀察其特征。提取相對具有代表性的特征參數(shù)。由于這是一個實際問題，所以還需要對諸如春節(jié)、節(jié)假日、高低谷特殊時段進行考慮研究。問題二是一個異常檢測的問題。異常檢測涉及到拒真和采偽的問題，即原本數(shù)據(jù)是正常的卻被認為異常，發(fā)生誤報和原本數(shù)據(jù)是異常值卻被認為正常，沒有發(fā)出警報，造成損失。由于兩種錯誤造成的影響均不容小覷，所以我們應(yīng)該選用合理的模型并做二次檢驗使兩種錯誤盡可能的降低。經(jīng)過比較，我們選擇了K-Means聚類分析模型和BP神經(jīng)網(wǎng)絡(luò)模型來對ATM的交易進行異常檢測。K-Means算法具有簡單快速的特點，能起到及時分析及時報警的作用，而BP神經(jīng)網(wǎng)絡(luò)具有很強的非線性映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)，得到的結(jié)果較為精確，可以有效的減少虛警誤報現(xiàn)象的發(fā)生，二者結(jié)合便可較好的達到我們所需要的目標。由于異常檢測問題包括異常狀態(tài)的監(jiān)測和異常類型的判斷兩個部分，我們還需要對異常狀況進行故障分類上報，以便于故障處理人員的故障解決。問題三是一個開放性問題。對于ATM機的異常檢測，除了題目給出的交易量、成功率、響應(yīng)時間三個指標外，我們提出了系統(tǒng)應(yīng)用進程異常值這一指標來解決問題二中部分故障不能很好分類的問題。除此之外，我們考慮增加網(wǎng)絡(luò)負載率作為擴展數(shù)據(jù)來進一步減少誤報并進行更好的分析。模型假設(shè)假設(shè)非正常因素不會對數(shù)據(jù)造成影響。假設(shè)銀行的經(jīng)營情況不會對交易量造成影響。假設(shè)交易的成功與否只與ATM操作系統(tǒng)有關(guān)而與用戶的操作無關(guān)。假設(shè)附錄給出的數(shù)據(jù)不具有特殊性，可以代表其他月份的數(shù)據(jù)變化趨勢。假設(shè)題目中給出的故障種類占所有故障的絕大部分，其他特殊故障占比極少。符號及變量說明符號說明符號說明JJ（處理后）交易量均值JF（處理后）交易量方差CJ（處理后）成功率均值CF（處理后）成功率方差XJ（處理后）響應(yīng)時間均值XF（處理后）響應(yīng)時間方差聚類中心向量激活函數(shù)權(quán)值輸出單元狀態(tài)隱單元狀態(tài)輸入單元狀態(tài)模型的建立與求解1.問題一特征參數(shù)的選擇、提取、分析特征參數(shù)即用于表征物質(zhì)或現(xiàn)象特性的參數(shù)信息，在實際應(yīng)用中，最常用的基本統(tǒng)計量分為兩類：反映集中趨勢和反映離散趨勢的統(tǒng)計量。在處理ATM交易狀態(tài)的數(shù)據(jù)中，這兩種統(tǒng)計量依然是我們提取路面特征的主要參數(shù)。為此，我們做了以下分析。1.1三個指標量與日期時間的相關(guān)性分析首先，我們將附件四個月的數(shù)據(jù)合并，用spss軟件求出其相關(guān)性矩陣如圖1-1所示。圖1-1日期、時間、交易量、成功率、響應(yīng)時間的相關(guān)性矩陣根據(jù)所求出的相關(guān)性矩陣可以得出：交易量和時間存在正相關(guān)性，成功率和響應(yīng)時間存在負相關(guān)性。但是經(jīng)過我們對各個指標分別進行處理（主要是通過繪制散點圖）時初步分析發(fā)現(xiàn)，成功率與響應(yīng)時間并沒有明顯相關(guān)性（如圖1-2）。圖1-2成功率-響應(yīng)時間的散點圖1.2對交易量的分析處理首先，我們利用MATLAB軟件繪制了日總交易量-日期的折線圖（如圖1-3）。圖1-3日總交易量-時間的折線圖我們對這幅圖進行初步分析后得出以下幾個結(jié)果：（1）1月23日至2月1日的圖像有非常明顯的波動，而之后的日總交易量曲線波動較小且維持在一定的區(qū)間。從實際因素考慮，我們推測是因為中國春節(jié)的這個因素造成的。（2）題目中提示：工作日和非工作日的交易量存在差別，但是通過對圖1-3的分析，我們沒有發(fā)現(xiàn)工作日和非工作日的交易量以及與日期有關(guān)的明顯周期性變化。而觀察圖1-4后我們確定工作日和非工作日的單日交易量不存在明顯區(qū)別。圖1-4工作日(紅)和非工作日(藍)交易量-時間散點圖并且對上圖分析我們可以得到以下結(jié)果：（1）交易量與時間的確存在明顯的相關(guān)性，曲線呈M型，且從圖中可以看出不同日期的曲線形狀相似度很高，既排除春節(jié)期間，交易量均值JJ十分接近。（2）交易量在凌晨2-7點時極低，考慮晚上人流量少的實際因素，因此為正常情況。根據(jù)結(jié)果一我們進一步分析，猜想不同日期相同時間（分鐘）的交易量符合正態(tài)分布，并通過作出的圖像驗證了我們的猜想。圖1-5部分相同時間（小時）的交易量根據(jù)該數(shù)據(jù)正態(tài)分布特征，我們利用MATLAB編程提取不同日期相同時間（分鐘）的交易量的平均值和方差作為交易量的特征參數(shù)，以下圖1-6為部分結(jié)果。交易量相同分鐘均值圖1-6交易量相同分鐘方差1.3對成功率的分析處理首先，我們繪制了成功率-時間散點圖1-7。圖1-7成功率-時間散點圖對上圖分析我們可以得出以下結(jié)果：（1）成功率-時間圖的散點分布較為集中且不隨時間變化，驗證了之前相關(guān)性分析的結(jié)論。（2）在交易量低的2-7點，成功率散點的分布離散程度比交易量高的時間段大。我們認為，交易量低正是造成成功率離散程度高的原因，與異常和故障并無直接關(guān)系，因此使用編程設(shè)計了一個模型，來消除這個無關(guān)因素的影響。模型處理過程如下：對交易量不足設(shè)定值K的時間進行連續(xù)累加——>當累加值超過K時計算一次成功率——>以這個成功率來代表這段時間的成功率。模型流程圖如下：考慮到后續(xù)及時報警因素的考慮，經(jīng)過多次嘗試，K值定為50時效果明顯，且最長累加時間為10分鐘，符合及時報警的考慮因素。下圖1-8為處理后的成功率-時間散點圖：圖1-8處理后的成功率-時間散點圖從處理后的散點圖可以看出該模型符合預期設(shè)定的目標。并且我們發(fā)現(xiàn)成功率值都集中在較高的區(qū)域,因此我們決定使用方差分析法來處理數(shù)據(jù)[1]。方差分析法作為一種數(shù)理統(tǒng)計方法廣泛應(yīng)用于氣象、水文、地震等行業(yè)數(shù)據(jù)的科學統(tǒng)計與分析?？蓱?yīng)用方差分析法計算最新采集數(shù)據(jù)與其均值的離散程度。主要思路是：成功率的數(shù)據(jù)分布集中在一定范圍內(nèi)，當數(shù)據(jù)變化的絕對值超過N倍標準均方差變化閥值的數(shù)據(jù)個數(shù)達到一定標準時通常說明數(shù)據(jù)存在異常。利用方差分析數(shù)據(jù)異常，N的取值采用兩種方法來實現(xiàn)：（1）單次N值比較法，通常情況下N值默認為3，即數(shù)據(jù)變化超過3倍標準方差即認為該點數(shù)據(jù)不正常，當這種不正常的數(shù)據(jù)點個數(shù)超過用戶設(shè)定的某個數(shù)值時即認為數(shù)據(jù)存在異常，N的取值和不正常數(shù)據(jù)點個數(shù)可由用戶根據(jù)測項類型與長期統(tǒng)計結(jié)果具體設(shè)定，通過該方法可檢測出數(shù)據(jù)超出3倍均方差的數(shù)據(jù)異常。（2）雙次N值比較法，利用第1次N值比較去除干擾，即認為數(shù)據(jù)變化超過N次標準方差的數(shù)據(jù)點為干擾點，去掉干擾點后進行第2次N值比較，通常取N為2，即去掉干擾后，數(shù)據(jù)變化超過2倍方差的數(shù)據(jù)個數(shù)超過用戶設(shè)定的某個數(shù)值時即認為數(shù)據(jù)存在異常。分析成功率的數(shù)據(jù)，發(fā)現(xiàn)成功率存在極大偏離值，使用雙次N值比較法更為合理，我們先進行第一次N值比較處理，去除極端異常值之后求出成功率的平均值和方差作為其特征參數(shù)，并用MATLAB實現(xiàn)了這一過程，得到的部分結(jié)果如圖1-9所示。成功率相同分鐘均值圖1-9成功率相同分鐘方差1.4對響應(yīng)時間的分析處理首先，我們繪制了響應(yīng)時間-時間散點圖1-10。圖1-10響應(yīng)時間-時間散點圖對上圖分析我們可以得出以下結(jié)果：（1）在交易量較大的時間段響應(yīng)時間稍有下降，我們推測是由于白天交易量大，銀行開設(shè)的服務(wù)器及處理器較多，因此降低了響應(yīng)時間。（2）響應(yīng)時間數(shù)據(jù)集中在一個較窄的區(qū)間，數(shù)據(jù)點的離散程度較低。同樣的使用雙次N值比較法，求出響應(yīng)時間的平均值和方差作為其特征參數(shù)，部分結(jié)果如下圖1-11。響應(yīng)時間相同分鐘均值圖1-11響應(yīng)時間相同分鐘方差問題二基于K-Means聚類分析的異常檢測模型2.1算法背景分析異常檢測在交通事件、網(wǎng)絡(luò)入侵和工業(yè)機械故障檢測等領(lǐng)域的應(yīng)用研究開始較早，技術(shù)發(fā)展也比較成熟。而基于聚類的入侵檢測應(yīng)用研究也有成果出現(xiàn)。其主要原理是對源數(shù)據(jù)聚類，數(shù)據(jù)依據(jù)相關(guān)性分為多個不同的類別，并按要求把各類數(shù)據(jù)歸為異常類與正常類?；诰垲惖漠惓z測算法相對于傳統(tǒng)檢測算法無須訓練樣本集就能自動完成異常檢測，且具有無監(jiān)督檢測的優(yōu)點[2]。聚類指的是把各種抽象的數(shù)據(jù)對象集根據(jù)彼此的相似性劃分為不同類別的過程，其目的是相似性越大的數(shù)據(jù)歸為一類，相似性越小的數(shù)據(jù)歸為不同類。如果類內(nèi)數(shù)據(jù)相似性越大，則類間數(shù)據(jù)相差就越大，劃分聚類的效果就越好。K-means算法是硬聚類算法，是典型的基于原型的目標函數(shù)聚類方法的代表，它是數(shù)據(jù)點到原型的某種距離作為優(yōu)化的目標函數(shù)，利用函數(shù)求極值的方法得到迭代運算的調(diào)整規(guī)則。K-means算法以歐式距離作為相似度測度，它是求對應(yīng)某一初始聚類中心向量V最優(yōu)分類，使得評價指標J最小。算法采用誤差平方和準則函數(shù)作為聚類準則函數(shù)。問題二需要建立檢測ATM交易狀態(tài)異常的綜合評價模型，我們采用了K-Means模型，對ATM眾多數(shù)據(jù)進行聚類分析，得到數(shù)據(jù)的異常值。2.2模型的準備K-MEANS算法包括輸入和輸出兩個部分。輸入：聚類個數(shù)k，以及包含n個數(shù)據(jù)對象的數(shù)據(jù)庫。輸出：滿足方差最小標準的k個聚類。圖2-1我們要利用聚類分析區(qū)分正常值和異常值，所以我們選擇K=2。2.3模型的建立從N個數(shù)據(jù)對象任意選取K個對象作為初始聚類中心。循環(huán)（3）到（4）直到每個聚類不再發(fā)生變化為止。（3）根據(jù)每個聚類對象的均值（中心對象），計算每個對象與這些中心對象的距離，并根據(jù)最小距離重新對相應(yīng)對象進行劃分。（4）重新計算每個聚類的均值（中心對象），直到聚類中心不再發(fā)生變化。劃分使得下式最小[3]：\o"公式"2.4模型的求解因為數(shù)據(jù)較多，我們從中選取了2月份的數(shù)據(jù)做分析。2.4.1響應(yīng)時間的聚類分析圖2-22月時間-響應(yīng)時間K均值法分類圖圖2-32月時間-響應(yīng)時間K均值法分類圖對比圖圖2-42月1日時間-響應(yīng)時間K均值法分類圖從圖中看出大量數(shù)據(jù)聚類后集中分布在0-160內(nèi),有個別點分散在160以上甚至7000以上，但為了精確我們的模型，我么還將2月1號的響應(yīng)時間做了聚類分析，發(fā)現(xiàn)當天會出現(xiàn)少數(shù)點響應(yīng)時間分布在140以上，大部分數(shù)據(jù)集中在90-130內(nèi)，因此為了加強異常點的檢測精準性，提高報警的準確性，我們選取響應(yīng)時間異常點為140以上，這些點可以看成異常點，即檢測到的異常值，所以當響應(yīng)時間到達160以上時，可以認為出現(xiàn)了故障三或故障四。2.4.2交易量的聚類分析圖2-52月時間-交易量K均值法分類圖圖2-6時間-交易量2月1日K均值法分類圖圖2-7時間-交易量2月10日K均值法分類圖圖2-8時間-交易量2月20日K均值法分類圖由上面的圖發(fā)現(xiàn)交易量在600-700之間會發(fā)生陡降，我們分別做了2月1號，2月10號，2月20號的交易量聚類分析圖后發(fā)現(xiàn)這三天內(nèi)按每一分鐘的交易量變化為異常檢驗數(shù)據(jù)的時候，每分鐘之間交易量差別最大為204，所以我們可以按每分鐘交易量差若超過300為故障處理，此時可認為出現(xiàn)了故障一。2.4.3成功率的聚類分析對于成功率這一數(shù)據(jù)，我們采用K-均值聚類算法對二月份的成功率數(shù)據(jù)進行處理后得到了如下表格：每個聚類中的案例數(shù)聚類11827.000238493.000有效40320.000缺失.000最終聚類中心聚類12成功率89%97%表2-1表2-2我們發(fā)現(xiàn)，在總共40320個數(shù)據(jù)中，最終的1類聚類結(jié)果有1827個，2類聚類結(jié)果有38493個。因此我們確定低于89%的數(shù)據(jù)為異常數(shù)據(jù)，認為出現(xiàn)了故障二或故障四。問題二基于BP神經(jīng)網(wǎng)絡(luò)的異常檢測模型3.1算法背景分析人工神經(jīng)網(wǎng)絡(luò)是基于現(xiàn)代神經(jīng)科學研究基礎(chǔ)之上建立的一種數(shù)學模型，它的原理與大腦的工作原理相似，也有和大腦類似的特征，人們對BP神經(jīng)網(wǎng)絡(luò)算法的理論認識相對完善，利用BP神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)非線性模型、函數(shù)逼近、模式分類的技術(shù)已經(jīng)相對成熟。因此，我們考慮使用BP神經(jīng)網(wǎng)絡(luò)模型進行正常值和異常值的分類[4]。3.2模型的建立我們考慮一個其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò)：圖3-1激活函數(shù)由來決定。圖中最下面單元，即由·所示的一層稱為輸入層，用以輸入已知測量值。在我們的例子中，它只需包括兩個單元，一個用以輸入響應(yīng)時間，一個用以輸入成功率。中間一層稱為處理層或隱單元層，單元個數(shù)適當選取，我們選擇取三個。最上面一層稱為輸出層，在我們的例子中只包含二個單元，用以輸出與每一組輸入數(shù)據(jù)相對應(yīng)的分類信息。任何一個中間層單元接受所有輸入單元傳來的信號，并把處理后的結(jié)果傳向每一個輸出單元，供輸出層再次加工，同層的神經(jīng)元彼此不相聯(lián)接，輸入與輸出單元之間也沒有直接聯(lián)接。這樣，除了神經(jīng)元的形式定義外，我們又給出了網(wǎng)絡(luò)結(jié)構(gòu)[5]。為了敘述上的方便，此處引人如下記號上的約定：令s表示一個確定時刻的序號，由于數(shù)據(jù)過于龐大，我們選擇了學習樣本中的15個樣品，s=1,2，…，15。當將第s個樣品的原始數(shù)據(jù)輸入網(wǎng)絡(luò)時，相應(yīng)的輸出單元狀態(tài)記為，隱單元狀態(tài)記為，輸入單元取值記為。此處下標i,j,k分別對應(yīng)于輸出層、中間層及輸入層。在這一約定下，從中間層到輸出層的權(quán)記為，從輸入層到中間層的權(quán)記為，如果，均已給定，那么對應(yīng)于任何一組確定的輸入，網(wǎng)絡(luò)中所有單元的取值不難確定[6]。如果我們能夠選定一組適當?shù)臋?quán)值，使得對應(yīng)于學習樣本中任何一組正常樣品的輸入，輸出，對應(yīng)于異常的輸入數(shù)據(jù)，輸出為，那么故障檢測問題實際上就解決了。因為，對于任何一個時刻，只要將其成功率及響應(yīng)時間數(shù)據(jù)輸入網(wǎng)絡(luò)，視其輸出模式靠近(1,0)亦或(0,1)，就可以判斷其歸屬。對于權(quán)值的選擇，我們采用了向后傳播算法[7]。3.3模型的求解我們選取了（響應(yīng)時間，成功率）的9組正常值和6組異常值進行訓練。得到結(jié)果如下：圖3-2然后對于三組輸入值，判斷結(jié)果如下：圖3-3顯然可以看出，1、3組數(shù)據(jù)為正常值，第二組數(shù)據(jù)為異常值。問題三擴展數(shù)據(jù)的選取4.1系統(tǒng)應(yīng)用異常值新指標的提出通過題目中給出的故障分類我們發(fā)現(xiàn)，故障二為成功率下降，故障三為響應(yīng)時間增長，而故障四的表現(xiàn)為成功率下降或響應(yīng)時間增長。這使得故障二三與故障四之間難以分辨，考慮到故障四的成因為數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進程異常，我們提出增加系統(tǒng)應(yīng)用進程異常值這個新指標，該值用軟件在數(shù)據(jù)中心后端處理系統(tǒng)中實時監(jiān)測，進程異常時值為1，正常時值為0，當發(fā)生成功率下降或相應(yīng)時間增長時，返回該值結(jié)果，若為1則為故障四，若為0則為故障二三。4.2網(wǎng)絡(luò)負載率若檢測到網(wǎng)絡(luò)負載率達到較大值或者滿載值，響應(yīng)時間較大，成功率較低或交易量驟減就很可能不是前端或后端的故障問題導致，而是數(shù)據(jù)傳輸過程出現(xiàn)阻塞導致，此數(shù)據(jù)的采集也能一定程度上減少誤報率。六、模型的檢驗、靈敏度分析1.模型的檢驗從數(shù)天00：00-23:59的每天1440分鐘的數(shù)據(jù)中，我們隨機選取了5000組數(shù)據(jù)對模型的異常檢測和報警能力進行了檢測。在這5000組數(shù)據(jù)中，共有156組數(shù)據(jù)的ATM工作