基于數(shù)據(jù)挖掘的審計數(shù)據(jù)分析

基于數(shù)據(jù)挖掘的審計數(shù)據(jù)分析［摘要］本文針對計算機審計的現(xiàn)狀，提出了基于數(shù)據(jù)挖掘的審計數(shù)據(jù)分析流程，以及應用DBSCAN聚類算法查找審計證據(jù)的辦法。［核心詞］計算機審計；數(shù)據(jù)挖掘；聚類算法；噪聲數(shù)據(jù)隨著經(jīng)濟和信息技術的不停發(fā)展，許多公司開始引入了ＥＲＰ等系統(tǒng)，這些系統(tǒng)使得公司的眾多活動數(shù)據(jù)能夠?qū)崟r統(tǒng)計，形成了大量有關公司經(jīng)營管理的數(shù)據(jù)倉庫。從這些海量數(shù)據(jù)中獲取有用的審計數(shù)據(jù)是現(xiàn)在計算機審計的一種應用。對于審計人員來說，如何從被審計單位的海量數(shù)據(jù)中找出全方面、高質(zhì)量的審計數(shù)據(jù)從而找出審計證據(jù)是一種難題。本文運用數(shù)據(jù)挖掘技術對此問題進行了探討并提出理解決的辦法。數(shù)據(jù)挖掘（ＤａｔａＭｉｎｉｎｇ）指的是從大量的、不完全的、有噪聲的、含糊的、隨機的實際應用數(shù)據(jù)中提取出隱藏的、不為人知的卻潛在有用的信息和知識的過程［１］。事實上，實際應用數(shù)據(jù)的質(zhì)量和存儲模式對于實施計算機審計并成功獲取審計證據(jù)非常重要。由于被審單位信息系統(tǒng)軟硬件平臺的異構(gòu)性和可能存在的人為故意隱瞞、造假等，為確保計算機審計工作順利進行和審計結(jié)論的對的，對審計數(shù)據(jù)進行采集時必須對數(shù)據(jù)進行檢查、控制和分析。１審計數(shù)據(jù)采集審計數(shù)據(jù)采集指在開展計算機審計時從被審計單位的財務及業(yè)務信息系統(tǒng)及其它數(shù)據(jù)源獲得審計所需的電子數(shù)據(jù)并進行適宜的格式轉(zhuǎn)換［３］。普通來說，計算機審計中數(shù)據(jù)采集的辦法重要涉及下列幾個：（１）運用被審單位信息系統(tǒng)的數(shù)據(jù)導出功效。大多數(shù)的信息管理系統(tǒng)都提供了數(shù)據(jù)導出的功效，審計人員直接能夠運用該功效導出公司財務數(shù)據(jù)完畢數(shù)據(jù)的采集。（２）運用通用的數(shù)據(jù)解決軟件完畢數(shù)據(jù)采集。如Ａccess、ＳＱＬＳerver等都含有較強大的數(shù)據(jù)導入導出功效和數(shù)據(jù)轉(zhuǎn)換功效。審計人員能夠運用這些軟件完畢數(shù)據(jù)的采集。如被審公司原始數(shù)據(jù)為文本格式能夠轉(zhuǎn)換為數(shù)據(jù)庫表格格式。（３）運用審計軟件完畢數(shù)據(jù)采集。如國家從２００２年開始建設的“金審工程”就以現(xiàn)場審計實施系統(tǒng)（ＡＯ）及審計辦公系統(tǒng)（ＯＡ）作為計算機輔助審計的工具。別外應用國內(nèi)的公司財務審計軟件、審計數(shù)據(jù)采集分析軟件等都能夠完畢審計數(shù)據(jù)的采集。（４）運用專用程序接口完畢數(shù)據(jù)采集。當被審計單位提供的審計數(shù)據(jù)的數(shù)據(jù)構(gòu)造與已有的審計數(shù)據(jù)解決軟件系統(tǒng)的數(shù)據(jù)構(gòu)造差別較大時，能夠在審計人員的協(xié)助下由專門的程序員開發(fā)接口程序，完畢數(shù)據(jù)的采集，但成本相對較高。２數(shù)據(jù)清洗運用數(shù)據(jù)挖掘?qū)徲嫈?shù)據(jù)進行解決分類時，為了提高分類的精確性、高效性和可伸縮性，必須對數(shù)據(jù)庫進行預解決，涉及：數(shù)據(jù)的清洗、有關性分析、數(shù)據(jù)轉(zhuǎn)換等。文獻［４］中給出數(shù)據(jù)清洗的定義為：發(fā)現(xiàn)和消除數(shù)據(jù)中的錯誤和不一致來提高數(shù)據(jù)的質(zhì)量。普通而言，審計數(shù)據(jù)庫中數(shù)據(jù)采集于異質(zhì)操作數(shù)據(jù)庫，不可避免存在著數(shù)據(jù)的錯誤或不一致等問題，如數(shù)據(jù)造假、數(shù)據(jù)重復、數(shù)據(jù)缺失等錯誤。根據(jù)文獻［５］提出的審計數(shù)據(jù)質(zhì)量特性，必須要對采集的原始數(shù)據(jù)進行清洗，即由“臟”變“干凈”，提高審計數(shù)據(jù)質(zhì)量，這是確保審計結(jié)論對的的核心。數(shù)據(jù)清洗的普通過程如圖２所示。（１）數(shù)據(jù)分析：為了清洗出干凈的數(shù)據(jù)，必須對數(shù)據(jù)進行詳盡的分析，涉及數(shù)據(jù)的格式類別等。例如采集來的財務數(shù)據(jù)的字段類型、寬度、含義等。（２）模式轉(zhuǎn)換：模式轉(zhuǎn)換重要是指將源數(shù)據(jù)映射成目的數(shù)據(jù)模型，如屬性的轉(zhuǎn)換，字段的約束條件和數(shù)據(jù)庫中各個數(shù)據(jù)集之間的映射和轉(zhuǎn)換等。有時需要將多個數(shù)據(jù)表合并成一種二維表格，有時卻要將一種數(shù)據(jù)表拆分成多個二維表格方便于問題的解決。（３）數(shù)據(jù)校驗：上一步的模式轉(zhuǎn)換可行否，需要進行評定測試，通過重復分析、設計、計算、分析才干更加好地清洗數(shù)據(jù)。否則不通過數(shù)據(jù)校驗可能有些錯誤數(shù)據(jù)不是很明顯，不能被較好地篩選出來。例如模式轉(zhuǎn)換時將一種數(shù)據(jù)集分解成多個數(shù)據(jù)表的時候，造成父表的主核心字的值和子表外部核心字的值不一致，從而形成孤立統(tǒng)計，影響審計人員審計證據(jù)的對的性，進而影響審計結(jié)論的對的性。（４）數(shù)據(jù)回流：用“干凈”的數(shù)據(jù)替代原始數(shù)據(jù)源中的“臟”數(shù)據(jù)，避免下次數(shù)據(jù)采集時重做數(shù)據(jù)的清洗。有時候數(shù)據(jù)的清洗需要重復進行，審計人員需要對采集到的電子數(shù)據(jù)進行多次清洗，這樣才干得到高質(zhì)量的審計數(shù)據(jù)。３數(shù)據(jù)挖掘?qū)崿F(xiàn)通過數(shù)據(jù)預解決后的審計數(shù)據(jù)庫包含了多個數(shù)據(jù)集，每個數(shù)據(jù)集又包含了若干數(shù)據(jù)統(tǒng)計或者稱為元組，如何從這些二維表格數(shù)據(jù)中挖掘出故意義的審計數(shù)據(jù)至關重要。本文介紹一種運用聚類算法進行審計數(shù)據(jù)挖掘的算法。３．１算法概述３．１．１聚類算法所謂聚類就是根據(jù)相似性對數(shù)據(jù)對象進行分組，發(fā)現(xiàn)數(shù)據(jù)的分布特性，使得每個聚類中數(shù)據(jù)有非常高的相似性而不同聚類中的數(shù)據(jù)盡量不同［６］。它同分類的重要區(qū)別在于，分類事先懂得所根據(jù)的數(shù)據(jù)特性，而聚類是要找到這個數(shù)據(jù)特性。作為數(shù)據(jù)挖掘的功效，聚類分析能夠作為一種獲取數(shù)據(jù)分布狀況、觀察每個類的特性和對特定類進行進一步獨立分析的工具；聚類也能夠有效解決噪聲數(shù)據(jù)，例如數(shù)據(jù)庫中普遍包含的孤立點、空缺或錯誤數(shù)據(jù)等。聚類分析算法普通有5類［７］：①基于劃分的辦法，如ＣＬＡＲＡＮＳ；②基于層次的辦法，如ＣＵＲＥ和ＢＩＲＣＨ；③基于密度的辦法，如ＤＢＳＣＡＮ、ＯＰＴＩＣＳ、ＧＤＢＳＣＡＮ和ＤＢＲＳ；④基于網(wǎng)格的辦法，如ＳＴＩＮＧ和ＷａｖｅＣｌｕｓｔｅｒ；⑤基于模型的辦法，如ＣＯＢＷＥＢ。其中ＤＢＳＣＡＮ算法含有較好的過濾噪聲數(shù)據(jù)的優(yōu)點。本文探討運用ＤＢＳＣＡＮ算法對審計數(shù)據(jù)進行解決，找出異常數(shù)據(jù)，查找出審計證據(jù)。３．１．２ＤＢＳＣＡＮ算法ＤＢＳＣＡＮ算法的基本思想為［８］：對于同一種聚類中的每個對象，在給定的半徑ｄ的鄰域中包含的對象不能少于某一種給定的最小數(shù)目ＭｉｎＰｔｓ（也稱密度）。為了生存一種聚類，ＤＢＳＣＡＮ算法首先從數(shù)據(jù)集ＤＢ中選擇任意一種對象ｐ，并查找數(shù)據(jù)集ＤＢ中有關半徑ｄ的全部鄰域?qū)ο?，如果這個鄰域?qū)ο蟮膫€數(shù)不大于最小數(shù)目ＭｉｎＰｔｓ，則ｐ為噪聲數(shù)據(jù)；否則ｐ的鄰域?qū)ο笮纬梢环N初始聚類Ｎ，Ｎ中包含對象ｐ及ｐ直接密度可達的全部對象。然后擬定該類中的每一種對象ｑ與否為核心對象，若是，就將ｑ的ｄ—鄰域內(nèi)尚未包含到Ｎ的全部對象追加到Ｎ中，并繼續(xù)鑒定新追加的對象與否為核心對象，如果是，重復上述追加過程，直到這個聚類不能再擴大為止。然后ＤＢＳＣＡＮ算法再在數(shù)據(jù)集ＤＢ中另選一種沒有被標記為某個聚類或者噪聲的對象，重復上面的操作，始終到數(shù)據(jù)集ＤＢ中的全部對象要么被標記為某個聚類、要么被標記為噪聲數(shù)據(jù)為止。ＤＢＳＣＡＮ算法進行聚類的過程就是不停執(zhí)行數(shù)據(jù)集查詢比較的過程，最后產(chǎn)生的噪聲數(shù)據(jù)就是普通所說的異常數(shù)據(jù)，對于協(xié)助審計人員進行審計判斷非常有效。圖３表達了二維平面坐標下的噪聲數(shù)據(jù)和若干聚類。３．２數(shù)據(jù)模式定義３．２．１項間的距離設Ｒｉ和Ｒｊ是數(shù)據(jù)集ＤＢ中的任意兩條統(tǒng)計即某兩個數(shù)據(jù)項，它們之間的距離定義為：式中，Ｒｉ（Ｒｉｘ，Ｒｉｙ），Ｒｊ（Ｒｊｘ，Ｒｊｙ）表達數(shù)據(jù)集中兩個項Ｒｉ和Ｒｊ在二維空間的坐標點，因此ｄｉｊ表達Ｒｉ和Ｒｊ在二維空間坐標的距離。如果ｄｉｊ不不大于給定的值ｄ，則表達Ｒｉ和Ｒｊ不屬于同一種聚類分組。３．２．２審計數(shù)據(jù)預解決數(shù)據(jù)挖掘時數(shù)據(jù)的選擇是在二維平面上進行的，首先選擇列（字段或?qū)傩裕?，再選擇行（統(tǒng)計或元組）。為了能夠獲得有效的審計證據(jù)得出對的的審計結(jié)論，有時候必須對源數(shù)據(jù)集進行數(shù)據(jù)轉(zhuǎn)換。由于各個企事業(yè)單位的規(guī)模不同，財務數(shù)據(jù)的數(shù)量級或者數(shù)量單位可能不同，為了得到更加科學可靠的聚類分析成果，需要對財務數(shù)據(jù)進行預解決，普通進行比例變換。如將ｘ軸定義為某公司某月營業(yè)收入與利潤總額的比值，將ｙ軸定義為財務費用與凈利潤的比值，這樣解決的數(shù)據(jù)能更加好地反映該公司的實際狀況。這里的財務數(shù)據(jù)預解決都是由顧客來定義的，能夠根據(jù)不同的審計規(guī)定和審計目的來定義。建立一種新的二維表格數(shù)據(jù)最少包含4個屬性項：統(tǒng)計號，ｘ軸數(shù)據(jù)，ｙ軸數(shù)據(jù)，標記。其中統(tǒng)計號保持對應源數(shù)據(jù)集ＤＢ中的統(tǒng)計號，ｘ坐標和ｙ坐標即為通過比例變換后的數(shù)值，標記字段初始內(nèi)容為空。３．３算法描述及流程圖給定一種計算機審計數(shù)據(jù)集，假設含有Ｎ個元組或者統(tǒng)計，運用ＤＢＳＣＡＮ算法思想構(gòu)造出Ｌ個分組（Ｌ＜Ｎ），每個分組代表一種聚類。且Ｌ個分組必須滿足以下條件：（１）每個分組最少包含ＭｉｎＰｔｓ個元組。（２）每個分組中的任意兩個元組直接的距離不大于等于給定的距離ｄ。（3）每個元組僅屬于一種分組。圖４為實現(xiàn)審計數(shù)據(jù)挖掘的算法（稱為ＡＵＤＢＳＣＡＮ）的流程圖。３．４聚類算法的實現(xiàn)算法：審計數(shù)據(jù)挖掘聚類算法（ＡＵＤＢＳＣＡＮ）輸入：根據(jù)數(shù)據(jù)集ＤＢ產(chǎn)生的二維表格數(shù)據(jù) //最少含有4個字段：ｒｅｃ統(tǒng)計號，ｒｘｘ坐標數(shù)據(jù)，ｒｙｙ坐標數(shù)據(jù)，ｒｎｏ標記 半徑ｄ//度量密度的距離 密度ＭｉｎＰｔｓ//簇中的數(shù)目輸出：噪聲數(shù)據(jù)統(tǒng)計ＡｌｇｏｒｉｔｈｍＡＵＤＢＳＣＡＮ（ｄａｔａ，ｄ，ＭｉｎＰｔｓ）ＦｏｒｅａｃｈｒｅｃｏｒｄｉｎｄａｔａｄｏＩｆｅａｃｈｒｅｃｃｏｒｄｉｎｄａｔａｉｓｍａｒｋｅｄＯｕｔｐｕｔｎｏｉｓｅｒｅｃｃｏｒｄ//輸出標記為噪聲的數(shù)據(jù)ＥｌｓｅＦｏｒｅａｃｈｒｅｃｃｏｒｄｉｎｄａｔａｉｓｎｏｔｍａｒｋｅｄｎｏｉｓｅｏｒｃｌａｓｓｅｒｄｏＰ←Ｒａｎｄ（ａｒｅｃｃｏｒｄｉｓｎｏｔｍａｒｋｅｄｎｏｉｓｅｏｒｃｌａｓｓｅｒ）//隨機選用沒有被標記的統(tǒng)計ｐＬ←Ｆｏｕｎｄ（ｐ，ｄ，ＭｉｎＰｔｓ）//找到ｐ有關ｄ的ＭｉｎＰｔｓ密度可達統(tǒng)計Ｉｆｓ＝ｒｅｃｏｕｎｔ（Ｌ）＜ＭｉｎＰｔｓＰｉｓｍａｒｋｅｄｎｏｉｓｅＥｌｓｅＮ←Ｆｏｕｎｄ（ｐ，ｄ，ＭｉｎＰｔｓ）ＥａｃｈｒｅｃｃｏｒｄｉｎＮｉｓｍａｒｋｅｄｃｌａｓｓｅｒＦｏｒｅａｃｈｒｅｃｃｏｒｄｉｎＮｄｏｑ←ｏｎｅｒｅｃｃｏｒｄ Ｉｆｑｉｓａｃｅｎｔｅｒｒｅｃｏｒｄ//ｑ為核心統(tǒng)計 Ｎ←ｆｏｕｎｄ（ｑ，ｄ）ＥｎｄｉｆＥｎｄｆｏｒＥｎｄｉｆＥｎｄｆｏｒＥｎｄｉｆＥｎｄｆｏｒ在ＡＵＤＢＳＣＡＮ算法中，運用Ｒａｎｄ（）函數(shù)產(chǎn)生第一種隨機統(tǒng)計ｐ，運用Ｆｏｕｎｄ（）函數(shù)產(chǎn)生ｐ有關ｄ的ＭｉｎＰｔｓ密度可達統(tǒng)計。該算法最后的成果和隨機產(chǎn)生的第一條統(tǒng)計有關，形成的聚類可能有不同，但得到的噪聲數(shù)據(jù)一致，因此對于審計證據(jù)的查找是有效的。４結(jié)論數(shù)據(jù)挖掘技術與海量數(shù)據(jù)下審計業(yè)務的有效結(jié)合是將來計算機審計的一種發(fā)展方向。本文重要介紹了審計數(shù)據(jù)的采集、數(shù)據(jù)的解決轉(zhuǎn)換和數(shù)據(jù)的挖掘3個方面，并且在數(shù)據(jù)的挖掘方面采用了基于聚類的ＤＢＳＣＡＮ算法來快速、精確、高效地輸出噪聲數(shù)據(jù)。該算法中涉及的二維平面ｘ，ｙ軸坐標能夠根據(jù)實際審計需要由審計人員加以定義，因此能夠應用到各類審計實踐中去。另外，能夠?qū)ⅲ模拢樱茫粒嗡惴〝U展到三維空間上，只要再加上一種ｚ軸數(shù)據(jù)，固然ｚ軸數(shù)據(jù)也應當是和ｘ，ｙ軸數(shù)據(jù)有關的一種比例數(shù)據(jù)，此時聚類的成果將會變成一種不規(guī)則球體，從而能夠更加容易挖掘出未曾發(fā)現(xiàn)的知識，也更加容易發(fā)現(xiàn)數(shù)據(jù)間的潛在聯(lián)系。重要參考文獻［１］［加］ＪｉａｗｅｉＨ，ＭｉｃｈｅｌｌｉｎｅＫ．數(shù)據(jù)挖掘概念與技術［Ｍ］.范明，譯．北京：機械工業(yè)出版社，２００４.［２］陳偉，張金城，ＲｏｂｉｎＱｉｕ．審計數(shù)據(jù)解決實驗中的模擬數(shù)據(jù)生成系統(tǒng)［Ｊ］.計算機工程，２００７（19）.［３］王琦峰，胡玲玲．基于ＡＯ的審計數(shù)據(jù)采集辦法［Ｊ］.計算機系統(tǒng)應用，２００９（3）.［４］米天勝，張金城．面對數(shù)據(jù)的計算機審計中數(shù)據(jù)質(zhì)量問題的探討［Ｊ］.審計與經(jīng)濟研究，２００６（1）.［５］王昊，朱文明．審計數(shù)據(jù)質(zhì)量研究：從審計取證的視角［Ｊ］.南京大學學報：自然科學版，２００７（1）.［６］楊磊，李建軍，張志軍，孫翠娟．談數(shù)據(jù)挖掘中慣用的聚類算法［Ｊ］.