基于距離的孤立點檢測算法及其在納稅行為分析中的應(yīng)用

基于距離的孤立點檢測算法及其在納稅行為分析中的應(yīng)用

0重建點檢測算法孤立點是指數(shù)據(jù)集中不符合數(shù)據(jù)特征和一般模型的數(shù)據(jù)對象。這可能是由測量或執(zhí)行錯誤造成的。許多挖掘算法可以最小化孤立點對搜索結(jié)果的影響，或在挖掘過程中排除孤立點。然而，有時孤立點是非常重要的信息。如果僅列出相鄰的點，則可能會丟失重要的信息，也就是說，相鄰的點本身是非常重要的。因此，孤立點檢測是數(shù)據(jù)處理的一個重要方向，因為在某些應(yīng)用中研究孤點的異常行為可以發(fā)現(xiàn)隱藏在數(shù)據(jù)集中的更有價值的知識。目前，檢測孤立點的應(yīng)用廣泛用于許多領(lǐng)域。例如，欺詐檢測和竊取信用卡的人的購買行為可能不同于普通的卡煙稀少的人，因此可以通過注意不同的操作變化來檢測盜竊行為。此外，對于入侵檢測、生態(tài)系統(tǒng)監(jiān)控、公共衛(wèi)生和醫(yī)療等領(lǐng)域也可以應(yīng)用。孤立點檢測有多種算法,目前常用的算法主要有基于統(tǒng)計、基于距離、基于密度、基于偏離、基于聚類、基于神經(jīng)網(wǎng)絡(luò)、面向時間序列以及高維數(shù)據(jù)孤立點檢測等.本文在基于距離方法的基礎(chǔ)上給出了基于距離和的算法,并將該算法應(yīng)用于納稅行為分析.1基于距離和孤立點檢測算法1.1設(shè)計參數(shù)p部分對象定義1在數(shù)據(jù)集S中,o是一個孤立點,僅當S中至少有p部分對象與o的距離大于d.換句話說,如果o在d范圍內(nèi)有不多于M個鄰居,則o是一個帶參數(shù)p和d的DB(p,d)孤立點.這里M=n(1-p),n為數(shù)據(jù)對象的個數(shù).1.2美國法上不同度量方法的介紹在基于距離的孤立點定義中,一個關(guān)鍵的問題是對象間的距離如何定義.在數(shù)據(jù)集中,每個數(shù)據(jù)對象由多個屬性值描述,屬性的類型主要包括連續(xù)屬性、分類屬性、時間屬性等,不同的屬性類型有不同的量度方法.基于距離的檢測算法中一般討論的是連續(xù)類型數(shù)據(jù)的距離量度,其中最常用的距離是絕對距離和歐氏距離.絕對距離又稱曼哈頓距離,其定義如下:dij=∑k=1m|xik?xjk|.(1)dij=∑k=1m|xik-xjk|.(1)其中m是數(shù)據(jù)對象的屬性的個數(shù),xij表示第i個對象第j個屬性的值.而歐氏距離為:dij=∑k=1m(xik?xjk)2????????????√(2)dij=∑k=1m(xik-xjk)2(2)至于使用哪種距離量度方法,要看具體的應(yīng)用領(lǐng)域,而不同的量度方法可能會對結(jié)果產(chǎn)生影響.1.3基于devi的算法基于距離和的孤立點檢測的思想是,首先計算數(shù)據(jù)集中對象兩兩之間的距離,然后累計每個對象與其他對象的距離,設(shè)M為用戶期望的孤立點個數(shù),則距離之和最大的M個對象即為孤立點.定義2xi和xj是數(shù)據(jù)集X中的兩個對象,n為數(shù)據(jù)集的對象數(shù),m為對象的維(屬性)數(shù),dij為xi和xj之間的距離,則X的距離矩陣R定義為R=??????d11d21?dn1d12d22?dn2????d1nd2n?dnn??????.(3)R=[d11d12?d1nd21d22?d2n????dn1dn2?dnn].(3)定義3xi是數(shù)據(jù)集中第i個數(shù)據(jù)對象,xi的偏離度Devi定義為Devi=∑j=1ndij(4)Devi=∑j=1ndij(4)即Devi為矩陣R中第i行的和.由定義1～3,不難看出,Devi越大,對象i與其他的對象距離越遠,其為孤立點的可能性越大.若M為用戶期望得到的孤立點個數(shù),則偏離度最大的M個對象即為孤立點.為檢測基于距離和的孤立點,算法將需要n2次的數(shù)據(jù)對象間的距離計算,當n很大時,這幾乎變得不可能.為此,本文使用了基于隨機抽樣的近似計算.數(shù)據(jù)庫和數(shù)據(jù)挖掘中大量使用了均勻抽樣技術(shù),即從N個對象中隨機取出n個對象.為得到均勻的抽樣結(jié)果,本文采用CURE聚類算法中使用的抽樣算法,其基本思想是:先將數(shù)據(jù)集中前n條記錄放到一個抽樣數(shù)據(jù)集中,從第n+1條記錄開始,做以下操作,設(shè)當前處理的是第t條記錄,u是一個隨機產(chǎn)生的數(shù)(u∈[0,t-1]),若u<n,則把抽樣數(shù)據(jù)集中的第u條記錄替換為數(shù)據(jù)集中第t條記錄;若u≥n,則不進行替換操作.可以證明算法可以得到均勻的抽樣結(jié)果.該算法如下:2該算法用于分析納稅行為2.1標準化的納稅人本實驗所用數(shù)據(jù)為某市地稅局2007年納稅數(shù)據(jù),考慮到數(shù)據(jù)的實際情況,本實驗按以下要求選取數(shù)據(jù)和對數(shù)據(jù)進行標準化:1)選取稅率為0.08的稅種.2)實繳稅金大于100(xsjsj>1000).3)營業(yè)收入在1000～100000之間的納稅人.下面是對選取的數(shù)據(jù)進行標準化:營業(yè)收入:yyysr=yyysr/1000,則該值的取值范圍為1<yyysr<100,精度為0.1.實繳稅金:xsjsj=xsjsj/1000,則該值的范圍為0<xsjsj<80,精度為0.1.經(jīng)過標準化整理后的數(shù)據(jù)對象數(shù)目為5691條.2.2常稅率計算是否可以得到的稅收根據(jù)綜合分析,我們選取的值為30,距離采用歐氏距離,進行了孤立點檢測實驗,挖掘出了30條異常數(shù)據(jù)即孤立點(限于篇幅不再全部列舉).我們通過分析可以發(fā)現(xiàn)孤立點數(shù)據(jù)中存在三種典型的孤立點類別,分別是:1)孤立點數(shù)據(jù)的實繳稅金金額遠遠大于按正常稅率計算應(yīng)該得到的稅金,甚至大于營業(yè)收入,這種數(shù)據(jù)明顯不合理,所以應(yīng)該是真正的“噪聲”,可能是由于輸入錯誤導(dǎo)致的垃圾數(shù)據(jù),對于這類孤立點,我們可以直接將其從數(shù)據(jù)源中清除,不必進行進一步的分析.例如表1中的數(shù)據(jù).2)孤立點數(shù)據(jù)的實繳稅金金額大于按正常稅率計算應(yīng)該得到的稅金,這類孤立點可能是由于納稅人進行補繳以前漏交的稅金的原因所致,這類數(shù)據(jù)也有可能是由于錄入錯誤所致,所以我們要對這類數(shù)據(jù)進行進一步的研究與分析,發(fā)現(xiàn)數(shù)據(jù)異常的原因.此類數(shù)據(jù)如表2.3)孤立點數(shù)據(jù)的實繳稅金金額小大于按正常稅率計算應(yīng)該得到的稅金孤立點數(shù)據(jù),這類數(shù)據(jù)對我們來說,是最重要的數(shù)據(jù).產(chǎn)生這類數(shù)據(jù)的原因很有可能是由于納稅人偷稅、漏稅所致,所以對于此類數(shù)據(jù),我們應(yīng)該予以高度重視,進行詳細地、深入地調(diào)查與分析,找出異常的原