（計算機應用技術(shù)專業(yè)論文）數(shù)據(jù)挖掘在稅收管理中的研究與應用.pdf

摘要 摘要 伴隨著信息高速公路的建設，數(shù)字技術(shù)、數(shù)據(jù)庫技術(shù)迅猛發(fā)展，人類的數(shù)據(jù) 庫罩積累了越來越多的歷史數(shù)據(jù)，而從這些海量的數(shù)據(jù)里探索出實用的有價值的 信息對人類社會的發(fā)展有著重要的指導意義，這便形成了近幾年學術(shù)研究的熱 點，應運而生的就是“數(shù)據(jù)挖掘”學科。簡單的解釋就是通過數(shù)據(jù)庫、機器學習、 人工智能、統(tǒng)計學等領域的技術(shù)，從數(shù)據(jù)庫或w e b 中提取出隱含的，有應用價 值的知識和模式，為人們的決策提供有意義的支持和指導。 數(shù)據(jù)挖掘技術(shù)已經(jīng)逐漸應用到了銀行、證券公司以及零售行業(yè)的領域中，并 且取得了不錯的業(yè)績，深受研究人員和商業(yè)組織的青睞。當前隨著我國稅收工作 的不斷完善，稅控系統(tǒng)的應用將會越來越廣泛。它的主要核心技術(shù)在于，通過嵌 入在銷售企業(yè)p o s 終端軟件中，時時的采集企業(yè)的銷售數(shù)據(jù)，并將企業(yè)完整的銷 售記錄及時地儲存起來，以便于稅務機關(guān)隨時進行核查并進行合理的收稅，對消 除企業(yè)的逃稅、漏稅起著積極的重要作用。 然而，現(xiàn)在銷售行業(yè)的規(guī)模越來越大，企業(yè)的銷售數(shù)據(jù)己越來越龐大，如何 在這些海量的銷售數(shù)據(jù)中挖掘出有意義的，對國家稅收有幫助的，并對企業(yè)的經(jīng) 營策略有價值的知識便成為了現(xiàn)在一個重要的研究課題，而數(shù)據(jù)挖掘技術(shù)正是從 這一點出發(fā)，利用它本身的各種挖掘技術(shù)，從中探索出那些鮮為人知的知識，從 而有效地解決了以上問題。 本文主要從稅收管理分析的角度來討論數(shù)據(jù)挖掘技術(shù)。首先介紹了數(shù)據(jù)挖掘 的概念和一些算法以及商業(yè)智能的應用，然后針對稅控數(shù)據(jù)源進行分析處理：大 量數(shù)據(jù)遷移、數(shù)據(jù)預處理，以及建立稅源檢測數(shù)據(jù)模型。接著重點研究了聚類算 法。并對k 一均值算法進行了有效的學習和改進，將其良好的整合到第三方開源挖 掘工具一w 酞a 。w e k a 的全名是懷卡托智能分析環(huán)境，已將大量的數(shù)據(jù)挖掘和機 器學習算法嵌入其中，并且為我們提供了算法融入接口。最后通過對其進行算法 的改進和界面的更新，達到用數(shù)據(jù)描述現(xiàn)狀、預測趨勢的目的，使困繞稅務部門 的零稅申報、低稅申報、虛假申報、發(fā)票違章等難題得到進一步解決。 關(guān)鍵詞數(shù)據(jù)挖掘；稅收管理；算法；w e k a a b s t r a c t 曼曼曼曼鼉曼! 曼曼曼曼量皇曼皇曼璺曼璺皇曼寰a i m i a m i 二i i l i i m 鼉曼曼毫曼! 曼蔓皇曼曼曼曼曼曼! 曼曼! 皇曼曼曼曼葛 a b s tr a c t w i t ht h ec o n s t r u c t i o no fi n f o r m a t i o nh i g h w a y , d i g i t a la n dd a t a b a s et e c h n o l o g y h a sb e e ng r e a t l yd e v e l o p e d ，a n do u rd a t a b a s eh a ss t o r e dm o r ea n dm o r eh i s t o r i c a ld a t a h o wt oe x p l o r e rv a l u a b l ei n f o r m a t i o nf r o mt h em a s sd a t ah a sa ni m p o r t a n tg u i d i n g s i g n i f i c a n c et ot h ed e v e l o p m e n to fh u m a ns o c i e t y , w h i c hc a m ei n t ob e i n gt h eh o t f o c u sd a t am i n i n g ，o fa c a d e m i cr e s e a r c hi nr e c e n ty e a r s t h es i m p l ee x p l a n a t i o ni s t h a tw i t ht h et e c h n o l o g yo fd a t a b a s e ，m a c h i n el e a r n i n ga r t i f i c i a li n t e l l i g e n c ea n ds oo n ， p i c ku pt h ei m p l i e da n dv a l u a b l ek n o w l e d g ea n dp a t t e r nf r o md a t a b a s eo rw e b ，s oa s t op r o v i d ep e o p l ew i t hs t r o n gs u p p o r ta n dg u i d a n c et om a k ed e c i s i o n d a t am i n i n gt e c h n o l o g yh a sb e e ng r a d u a l l ya p p l i e dt ob a n k s ，s e c u r i t i e s c o m p a n i e s ，a sw e l la st h ea r e ao ft h er e t a i li n d u s t r ya n da c h i e v e dg o o dr e s u l t s ，w h i c h f a s c i n a t e st h er e s e a r c h e r sa n dc o m m e r c i a lo r g a n i z a t i o n s a tp r e s e n t ，w i t ht h e c o n t i n u o u si m p r o v e m e n to fo u rt a xw o r k ，t a x c o n t r o ls y s t e mw i l lb eu s e dm o r ea n d m o r ew i d e l y i t sm a i nc o r et e c h n o l o g yi st oc o l l e c ts a l e sd a t af r o mt i m et ot i m e t h r o u g ht h em o n i t o r i n gs o f t w a r ee m b e d d e d i nt h et e r m i n a lp o s ，a n dw i l lc o m p l e t et h e s a l eo fc o r p o r a t er e c o r d ss t o r e di nat i m e l ym a n n e r , s ot h a tt a xa u t h o r i t i e sv e r i f ya t a n yt i m ea n dt a xr e a s o n a b l y i tp l a y sa l li m p o r t a n tr o l et ot h ee l i m i n a t i o no fc o r p o r a t e t a xe v a s i o n b u tn o w , t h es c a l eo fs a l e si n d u s t r yb e c o m e sb i g g e ra n db i g g e r , t h es a l e sq u a n t i t y b e c o m e sl a r g e ra n dl a r g e r , a n dh o wt oe x c a v a t es i g n i f i c a n t l ya n di n s t r u m e n t a lt ot h e s t a t e st a xv a l u a b l ek n o w l e d g ef o rt h eb u s i n e s ss t r a t e g yh a sc o m ei n t ob e e na n i m p o r t a n tr e s e a r c ht o p i c d a t am i n i n gb a s e d o nt h ea b o v er e q u i r e m e n t ，u s ei t so w na v a r i e t yo fm i n i n ga l g o r i t h m st op r o b et h o s el i t t l e k n o w nk n o w l e d g e ，a sar e s u l t e f f e c t i v e l ys o l v i n gt h ea b o v ep r o b l e m s t h i sp a p e ra i m st od i s c u s sd a t am i n i n gt e c h n o l o g yi nt h ea n a l y s i so ft a x a d m i n i s t r a t i o na s p e c t f i r s t l y , i n t r o d u c et h ec o n c e p to fd a t am i n i n g ，a l g o r i t h m sa n d b u s i n e s si n t e l l i g e n c ea p p l i c a t i o n s e c o n d l y , d ot h ea n a l y s i sa n dp r o c e s s ，f o re x a m p l e ， d a t am i g r a t i o n ，d a t ar e p r o c e s s i n g ，a n dc o n s t i t u t i o no fd a t ac h e c km o d e la n ds oo n t h i r d l y , f o c u so nt h ec l u s t e r i n ga l g o r i t h m ，e s p e c i a l l yi m p r o v eo i lk - m e a n sa l g o r i t h m t h e ni n t e g r a t ei ti n t oao p e n s o u r c em i n i n gt o o l ，w e k a ，n a m e dw a i k a t oe n v i r o n m e n t f o rk n o w l e d g ea n a l y s i s ，w h i c hh a sal a r g en u m b e ro fd a t am i n i n ga n dm a c h i n e l e a r n i n ga l g o r i t h m se m b e d d e d ，a n dp r o v i d e u sw i t hi n t e r f a c ef o ra l g o r i t h ma c c e s s a t l a s t ，u s et h eg r a p h i c a li n t e r f a c et oc o m p l e t et h ep u r p o s e o fd e s c r i b ep r e s e n ts i t u a t i o n i i i 北京t 業(yè)人學t 學碩十學位論文 a n df o r e c a s tt h et r e n d ，i no r d e rt os o l v et h et a xd e p a r t m e n tp l a g u e dc o n u n d r u m so f z e r o t a xr e p o r t i n g , l o w t a xr e p o r t i n g ，f a l s er e p o r t i n ga n di n v o i c e sa n t i - r e g u l a t i o n s k e y w o r d sd a t am i n i n g ；t a xm a n a g e m e n t ；a l g o r i t h m ；w e k a i v 獨創(chuàng)性聲明 本人聲明所呈交的論文是我個人在導師指導下進行的研究工作及取得的研 究成果。盡我所知，除了文中特另j j n 以標注和致謝的地方外，論文中不包含其他 人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得北京工業(yè)大學或其它教育機構(gòu) 的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均 已在論文中作了明確的說明并表示了謝意。 簽名：至盤蘭日期：蘭竺2 笸 簽名： 生& 塹型日期：蘭竺z 臣 關(guān)于論文使用授權(quán)的說明 本人完全了解北京工業(yè)大學有關(guān)保留、使用學位論文的規(guī)定，即：學校有權(quán) 保留送交論文的復印件，允許論文被查閱和借閱；學?？梢怨颊撐牡娜炕虿?分內(nèi)容，可以采用影印、縮印或其他復制手段保存論文。 ( 保密的論文在解密后應遵守此規(guī)定) 簽名： 害龜乏乙導師簽名： 嗍學 第1 章緒論 1 1 研究背景與意義 第1 章緒論 在信息時代，數(shù)據(jù)與信息同時存在，相互依賴。隨著時代的發(fā)展，我們身邊 充滿了各式各樣的數(shù)據(jù)，只有將這些雜亂無章的海量數(shù)據(jù)進行甄別、挑選、分析， 轉(zhuǎn)化為信息和知識，才能幫助我們做出明智的選擇。隨著從數(shù)據(jù)到智慧這種層次 的出現(xiàn)，數(shù)據(jù)挖掘技術(shù)便應運而生。 在商業(yè)中，數(shù)據(jù)挖掘被定義為一種新的商業(yè)信息處理技術(shù)。其主要特點是對 商業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提 取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)【1 2 l 【1 6 】【2 6 】。 當前，隨著我國市場經(jīng)濟的不斷完善和稅收改革的不斷深入，納稅根據(jù)和方 式同益重要，并漸漸出現(xiàn)在我國的稅收管理工作中。以銷售額為根據(jù)納稅已經(jīng)逐 漸成為是現(xiàn)代稅收的主要方式，它是一種通過利用稅控系統(tǒng)等一系列信息化平 臺，對企業(yè)的各項銷售數(shù)據(jù)和銷售信息進行采集、加工和處理，從而對企業(yè)征收 合理稅費并對納稅人納稅情況進行評價的新的管理模式【9 】【2 7 】。 通過對現(xiàn)有數(shù)據(jù)的分析和利用，可以為稅務部門決策提供科學的參考依據(jù)， 強化稅收收入分析預測，規(guī)范數(shù)據(jù)源頭，提高數(shù)據(jù)質(zhì)量。由此稅務部門可以更好 的掌握企業(yè)的銷售情況，推測企業(yè)有無逃稅漏稅等問題，并對將來稅率的改革起 到極其重要的指導作用【2 9 】【3 0 】。 作為占市場主導的企業(yè)來講，通過對銷售數(shù)據(jù)的挖掘和處理，可以更準確地 了解市場行情，市場的銷售趨勢，從而編制出一套有效地更適應市場發(fā)展的經(jīng)營 戰(zhàn)略，更好的推動市場的擴大和企業(yè)的攀升 2 4 1 。 但是目前，我國的納稅分析系統(tǒng)還沒有一套完整的可行方案，評估納稅人員 只能依據(jù)一些常用的指標以及一些歷史經(jīng)驗做出推算，缺乏科學依據(jù)，而且費時 費力，不能進行全面有效的評估考核，得出來的結(jié)果，往往與實際差異甚大。另 外，由于外界因素的影響，各種指標和數(shù)據(jù)維度的建立也會有波動變化，依靠人 工維護非常困難，常常導致數(shù)據(jù)的分析結(jié)果嚴重偏離實際【l 4 1 。 基于此的數(shù)據(jù)挖掘技術(shù)恰恰能夠很好的解決上述各種問題。利用稅控系統(tǒng)這 個網(wǎng)絡信息化平臺，可以通過數(shù)據(jù)挖掘找出隱藏在大量歷史數(shù)據(jù)中的有用數(shù)據(jù)模 式，來輔助稅收部門進行科學地科學的判斷和合理的收稅，使得稅收工作更加客 觀公正，大幅度地提高稅收管理效能。 北京t 業(yè)大學t 學碩卜學位論文 1 2 研究現(xiàn)狀 隨著我國稅收信息化工作的不斷深入，在各級稅務機關(guān)的信息系統(tǒng)內(nèi)部已經(jīng) 積累了大量的基礎數(shù)據(jù)。這些數(shù)據(jù)本應該為稅務部門即決策者提供大量有用的信 息，但是因為沒有得到合理的分析利用，造成了大量的數(shù)據(jù)流失。但是在西方發(fā) 達國家，數(shù)據(jù)挖掘與分析技術(shù)已經(jīng)在政府稅務部門應用的非常廣泛并趨于成熟。 澳大利亞稅部門將數(shù)據(jù)挖掘技術(shù)應用于稅務行業(yè)，系統(tǒng)經(jīng)過九年的穩(wěn)定運行，投 人回報率達到1 ：1 5 。美國加利福尼亞州特許稅務委員會應用數(shù)據(jù)倉庫解決方案， 使得征稅效率和政府稅收收人大幅提高，并因此榮獲2 0 0 2 年數(shù)據(jù)倉庫協(xié)會( t d w i ) 最佳實踐獎。 相比而言，我國在同類產(chǎn)品的研究和應用與西方國家還存在一定的差距。盡 管數(shù)據(jù)挖掘已經(jīng)不是一項新的研究領域，但在我國，應用在稅收管理分析中卻剛 剛起步。還存在以下不足和缺陷： ( 1 ) 數(shù)據(jù)異構(gòu)、分散 從納稅單位申報上來的稅收數(shù)據(jù)主要集中在地市級單位，并沒有統(tǒng)一集中到 省級或者總局。在實現(xiàn)了數(shù)據(jù)集成的大部門當中，大都把數(shù)據(jù)集中到低級的稅務 部門，沒有建立真正意義的數(shù)據(jù)倉庫。在數(shù)據(jù)庫使用方面，存在s y b a s e 、o r a c l e 、 s o ls e r v e r 等非單一軟件，其中有些單位甚至使用了兩種以上的數(shù)據(jù)庫軟件。 這樣就不利于稅務部門進行數(shù)據(jù)監(jiān)控與分析。 ( 2 ) 未監(jiān)控真正的數(shù)據(jù)指標 這也是當前稅收管理中最為嚴重的問題現(xiàn)在的稅收分析只是針對各企業(yè)各 單位上報的稅收數(shù)據(jù)加以分析利用，而高層部門并沒有真正的得到企業(yè)的銷售數(shù) 據(jù)以及盈利情況等。簡而言之，就是一種盲目的征管，沒有真正到達以票控稅的 目的。 另外還有很多問題，比如挖掘什么、稅務部門關(guān)心哪些有用的指標等還沒有 明確的限定。這就需要我們認真把握數(shù)據(jù)挖掘與納稅評估的關(guān)系，數(shù)據(jù)挖掘與數(shù) 據(jù)分析的關(guān)系，數(shù)據(jù)挖掘在稅收工作中的地位等。總之，要明確數(shù)據(jù)挖掘在稅收 管理分析中的目標與任務，才更能突出它的作用與意義。 從技術(shù)角度上看，數(shù)據(jù)挖掘是直接服務于數(shù)據(jù)分析工作的技術(shù)手段，它不僅 是稅收數(shù)據(jù)分析的有力工具，而且代表著稅收分析的發(fā)展方向，即智能化與自動 化的決策支持；從政策角度上看，稅收數(shù)據(jù)挖掘不僅是技術(shù)實現(xiàn)的過程，同時也 是業(yè)務精細化與科學化的體現(xiàn)。數(shù)據(jù)挖掘是稅收工作的偵聽器，它發(fā)現(xiàn)稅收征管 的薄弱環(huán)節(jié)，成為稅收分析、納稅評估、稅務稽查、稅收監(jiān)控這一良性互動機制 的發(fā)動機和觸發(fā)器，直接關(guān)系到互動機制的運行質(zhì)量，從而解決稅務部門稅收工 作的盲目性和不合理性，為他們下一步的工作提供科學合理的決策支持，同時也 2 第1 章緒論 為企業(yè)的市場規(guī)劃和市場管理提供了有力的證據(jù)和保障。 1 3 本課題的主要研究內(nèi)容 商業(yè)稅收是國家財政的重要組成部分，為了對商業(yè)銷項稅進行管理，掌控銷 項數(shù)據(jù)，國家先后出臺了稅控收款機標準g b1 8 2 4 0 1 g b1 8 2 4 0 5 等六個部分， 建立了以商業(yè)收款機+ 稅控器+ 稅控卡+ 稅控收款機管理系統(tǒng)的基本工作模式，明 確了以票控稅的基本原則，有利地推動了商業(yè)稅收工作的有序進行【2 7 1 。 本課題來源于國標g b l 8 2 4 0 7 一商業(yè)自動化管理。g b l 8 2 4 0 7 的標準制定面 向大、中型商業(yè)流通企業(yè)，在其企業(yè)內(nèi)已有的商業(yè)管理信息系統(tǒng)( m i s ) 基礎上進 行稅控功能的改造。通過駐留在商用收款機操作系統(tǒng)核心層中的軟件模塊，時時 監(jiān)控企業(yè)的銷售數(shù)據(jù)源，依照發(fā)票的使用情況繳納稅款，滿足稅務機關(guān)進行稅收 監(jiān)管的工作需要。 面對大量的商場銷售數(shù)據(jù)，如何構(gòu)建數(shù)據(jù)挖掘平臺是本課題的關(guān)鍵。數(shù)據(jù)挖 掘系統(tǒng)由算法所支撐，然而各種算法都是有一定的針對性，針對特定的數(shù)據(jù)集尋 找高效的算法變的尤為重要。學習算法要用到各種不同的參數(shù)，需要合適的參數(shù) 值，選擇適當?shù)膮?shù)可以使獲得的結(jié)果得到顯著的改善。面對海量的銷售數(shù)據(jù)， 要高效的一次性處理是非常困難的。而計算機的內(nèi)存是有限的，如何合理的分配 內(nèi)存，使之能夠高效率的分析和處理數(shù)據(jù)也是本課題的重要研究內(nèi)容。運用良好 的數(shù)據(jù)挖掘平臺挖掘出模式、知識，為稅收監(jiān)管部門提供科學的決策支持才是本 文的最終目標。 本文共分為五章，每章的主要內(nèi)容如下： 第一章為緒論，主要介紹了本課題的背景與研究意義、數(shù)據(jù)挖掘在稅收管理 分析中的作用以及當前國內(nèi)外的研究現(xiàn)狀，最后闡述了課題的來源以及本文的組 織結(jié)構(gòu)。 第二章介紹了數(shù)據(jù)挖掘技術(shù)，講解了常用的一些挖掘算法。并就當前炙手可 熱的商業(yè)智能領域進行了一番論述。最后總結(jié)了兩者密不可分的關(guān)系。 第三章開始進入我們數(shù)據(jù)挖掘的前半部分，數(shù)據(jù)的繼承與預處理。針對課題 國標g b l 8 2 4 0 7 中異構(gòu)數(shù)據(jù)庫集成技術(shù)進行了研究，并將其中的大量監(jiān)控數(shù)據(jù)集 中到同一的數(shù)據(jù)源，建立數(shù)據(jù)倉庫，為后續(xù)的挖掘階段打好峰實的基礎。 第四章針對挖掘算法做文章，選擇w e k a 作為數(shù)據(jù)挖掘平臺( 平臺搭建) ，將 改進的聚類算法整合于其中。 第五章應用平臺，展開分析與挖掘 第2 章數(shù)據(jù)挖掘與商業(yè)知l i 厶匕h i t 第2 章數(shù)據(jù)挖掘與商業(yè)智能 2 1 數(shù)據(jù)挖掘簡介 一提到數(shù)據(jù)挖掘( d a t am i n i n g ) ，我們并不陌生?，F(xiàn)實生活中信息數(shù)據(jù)堆積 現(xiàn)象越來越普遍，并趨于嚴重化。大量信息在給人們帶來方便的同時也帶來了一 大堆問題：一是信息過量，難以消化；二是信息真假難以辨識。人們開始慢慢學 會“拋棄信息”，但是由此而引發(fā)海量數(shù)據(jù)中隱藏的知識常常被我們忽視而當作 垃圾丟棄，這就迫切需要。人們逐漸開始考慮，如何才能從大量數(shù)據(jù)中及時發(fā)現(xiàn) 有用的知識，提高信息利用率? 數(shù)據(jù)挖掘和知識發(fā)現(xiàn)技術(shù)便應運而生。 數(shù)據(jù)挖掘是一個多學科交叉研究領域，如下圖2 - 1 它融合了數(shù)據(jù)庫、人工 智能、機器學習、統(tǒng)計學和面向?qū)ο蠓椒ǖ茸钚录夹g(shù)研究成果，并且正在以一種 全新的概念改變著人類利用數(shù)據(jù)的方式。 圖2 1 數(shù)據(jù)挖掘研究領域 f i g u r e2 - 1r e s e a r c ha r e a so f d a t am i n i n g 2 1 1 數(shù)據(jù)挖掘的概念 數(shù)掘挖掘，又稱為數(shù)據(jù)中的知識發(fā)現(xiàn)( k n o w l e d g ed i s c o v e r yi nd a t a b a s e ， k d d ) 和模式探索( p a t t e r ne x p l o r e ) ，就是通過一定的高效率算法，從大量數(shù)據(jù) 中獲取有效的、新穎的、潛在有用的、最終被人們可理解的模式的非平凡過程。 簡而言之，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中獲取知識的過程 3 】。 并非所有的從信息中發(fā)現(xiàn)任務都被視為數(shù)據(jù)挖掘。比如，使用數(shù)據(jù)庫管理系 統(tǒng)查找符合條件的記錄，或通過因特網(wǎng)的搜索引擎查找特定的w e b 頁面，則是信 息檢索( i n f o r m a t i o nr e t r i e v a l ) 領域的任務。雖然這些任務是重要的，可能 涉及使用復雜的算法和數(shù)據(jù)結(jié)構(gòu)，但是它們主要依賴傳統(tǒng)的計算機科學技術(shù)和數(shù) 北京t 業(yè)火學t 學碩十學位論文 據(jù)的明顯特征來創(chuàng)建索引結(jié)構(gòu)，從而有效地組織和檢索信息。盡管如此，數(shù)據(jù)挖 掘技術(shù)也已用來增強信息檢索系統(tǒng)的能力。 2 1 2 數(shù)據(jù)挖掘的方法 數(shù)據(jù)挖掘的目的是發(fā)現(xiàn)隱藏的有價值的知識，而知識要通過一定的模式才能 表現(xiàn)出來，數(shù)據(jù)挖掘中有許多知識表示模式及其所采用的方法，比如關(guān)聯(lián)知識挖 掘、類知識挖掘等。 要挖掘必須要有挖掘的對象。數(shù)據(jù)庫作為常用的挖掘?qū)ο笠褜乙姴货r。數(shù)據(jù) 庫技術(shù)作為一種基本的信息存儲和管理方式，仍然以聯(lián)機事務處理( o l t p ) 為核 心應用，缺少對決策、分析、預測等高級功能的支持( d e c i s i o ns u p p o r t ) 機制。 隨著數(shù)據(jù)庫容量的膨脹，特別是數(shù)據(jù)倉庫( d a t aw a r e h o u s e ) 以及w e b 、文本等 新型數(shù)據(jù)源的日益普及，聯(lián)機分析處理( o l a p ) 、分類、聚類方法等復雜應用逐 漸成為必然，大量的挖掘方式和方法也漸漸地進入研究領域。通過對挖掘中知識 模式以及挖掘方法的研究，我們可以更清楚地了解數(shù)據(jù)挖掘的本質(zhì)和特點。 下面簡要介紹一下常用的模式表示方式和方法【2 】 1 6 1 【2 6 】： 1 關(guān)聯(lián)分析 關(guān)聯(lián)關(guān)系表達的是一個事件和另一個事件之間的依賴關(guān)系。關(guān)聯(lián)分析，即 利用關(guān)聯(lián)規(guī)則找出數(shù)據(jù)之間聯(lián)系的方法。它主要是指集中在數(shù)據(jù)庫對象之間的關(guān) 聯(lián)程度的刻畫。人們提出了多種關(guān)聯(lián)規(guī)則的挖掘算法，如s t e m 、a i s 、d h p 等算 法。最為著名的是a g r a w a l 等提出的a p r i o r i 及其改進算法，它表示了一組項目 關(guān)聯(lián)在一起的需要滿足的最低聯(lián)系程度。關(guān)聯(lián)規(guī)則的研究是數(shù)據(jù)挖掘中比較常用 的方法并同漸趨于成熟。 2 分類( c l a s s i f i c a t i o n ) 挖掘 分類分析是數(shù)據(jù)挖掘中一個重要的目標和任務，目前應用在商業(yè)中比較多。 分類的目標是構(gòu)造一個分類的模型，該模型可以將數(shù)據(jù)庫中的數(shù)據(jù)按照指定的規(guī) 則映射到給定的類別當中去。依照此規(guī)則，數(shù)據(jù)庫中的所有信息總體以幾大特征 ( 幾類) 來最終呈現(xiàn)。要構(gòu)造此分類器，必須要抽出一個數(shù)據(jù)樣本作為原始輸入 源，然后對源數(shù)據(jù)進行過濾、抽取、以及概念提取等。構(gòu)造分類器的方法大體有 以下幾種： ( 1 )決策樹：經(jīng)常使用分治策略來處理決策樹問題，但是要慎重考慮訓練 數(shù)據(jù)過渡擬合的情況，特別是推廣到獨立的訓練集上。i d 3 算法是最典型的決策 樹分類算法，之后i d 4 ，i d 5 ，c 4 5 等都對其做了進一步改進，但是他們的缺點 就是對大訓練樣本集很難適應 ( 2 ) 貝葉斯分類：來源于概率統(tǒng)計學，并且在機器學習中被很好的應用。 6 第2 章數(shù)據(jù)挖掘j j 商、l k 智能 貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后 驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所 屬的類。目前研究較多的貝葉斯分類器主要有n a i v eb a y e s 、t a n 、b a n 和g b n 。 ( 3 ) 人工神經(jīng)網(wǎng)絡：神經(jīng)網(wǎng)絡技術(shù)是一個獨立的研究分支。由于需要較長 的時間和其可解性較差，為它的應用帶來了苦難。但是，人工神經(jīng)網(wǎng)絡通過對局 部情況的對照比較( 而這些比較是基于不同情況下的自動學習和要實際解決的問 題的復雜性所決定的) ，它能夠推理產(chǎn)生一個可以自動識別的系統(tǒng)，具有較強的干 擾力。 ( 4 ) 遺傳算法：它是一類可用于復雜系統(tǒng)優(yōu)化的具有魯棒性的搜索算法， 是一種基于進化理論的機器學習算法。由于與傳統(tǒng)的優(yōu)化算法相比，它具有以決 策變量的編碼作為運算對象、以適應度作為搜索信息、使用多個點的搜索信息以 及使用概率搜索技術(shù)等特點，在函數(shù)優(yōu)化、組合優(yōu)化等研究領域等到了很好的應 用。 分類規(guī)則是知識發(fā)現(xiàn)中應用最為廣泛的數(shù)據(jù)挖掘技術(shù)。例如，金融業(yè)中可以 通過客戶分類構(gòu)造一個分類模型來對銀行貸款進行風險評估；當前的市場營銷中 很重要的一個特點是強調(diào)客戶細分?？蛻纛悇e分析的功能也在于此，采用分類技 術(shù)，可以將客戶分成不同的幾大類別，比如呼叫中心設計時可以分為呼叫頻繁的 客戶、偶然大量呼叫的客戶、穩(wěn)定呼叫的客戶等，幫助呼叫中心尋找出這些不同 種類客戶之間的特征，這樣的分類模型可以讓用戶了解不同行為類別客戶的分布 特征；另外在設計一個電子商店時，要涉及到商品分類的原則；安全領域有基于 分類技術(shù)的入侵檢測等。總之在數(shù)據(jù)挖掘和機器學習領域、分類規(guī)則起著不可替 代的作用。 3 聚類( c l u s t e r ) 分析 聚類是以統(tǒng)計學、機器學習等為依托，把一組個體按照相似性規(guī)則歸成若干 個類的方法，目的是使的屬于同一類別的個體之間的差別盡可能的小，而不同類 別上的個體間的差別盡可能的大。聚類分析是由若干模式組成的。通常，模式是 一個度量的向量，或者是多維空間中的一個點。聚類分析以相似性為基礎，在一 個聚類中的模式之間比不在同一聚類中的模式之間具有更多的相似性。 聚類的用途是很廣泛的。在商業(yè)上，聚類可以幫助市場分析人員從商業(yè)m i s 數(shù)據(jù)庫中區(qū)分出不同的消費群體來，并且概括出每一類消費者的消費模式或消費 觀念，可以幫助稅務部門更好的了解企業(yè)或個人的消費行為，這也是本文介紹的 重點內(nèi)容。它作為數(shù)據(jù)挖掘中的個模塊，可以作為一個單獨的工具以發(fā)現(xiàn)數(shù)據(jù) 庫中分布的一些深層的信息，并且概括出每類的特點，或者把注意力放在某 個特定的類上以作進一步的分析；并且，聚類分析也可以作為數(shù)據(jù)挖掘算法中其 他分析算法的一個預處理步驟。 7 北京t 業(yè)大學t 學碩十學位論文 2 0 0 0 年，h a n 等研究者歸納了基于分類、層次、密度、網(wǎng)格和模型等五大聚 類算法，它們在目前的應用中具有典型的代表性： ( 1 ) 分裂法( p a r t i t i o n i n gm e t h o d s ) ：給定一個有n 個元組或者紀錄的數(shù)據(jù)集， 分裂法將構(gòu)造k 個分組，每一個分組就代表一個聚類，k n 。而且這k 個分組 滿足下列條件：一是每一個分組至少包含一個數(shù)據(jù)紀錄；二是每一個數(shù)據(jù)紀錄屬 于且僅屬于一個分組；對于給定的k ，算法首先給出一個初始的分組方法，以后 通過反復迭代的方法改變分組，使得每一次改進之后的分組方案都較前一次好， 而所謂好的標準就是：同一分組中的記錄越近越好，而不同分組中的紀錄越遠越 好。使用這個基本思想的算法有：k m e a n s 算法、k m e d o i d s 算法、c l a r a n s 算法。 ( 2 ) 層次法( h i e r a r c h i c a lm e t h o d s ) ：這種方法對給定的數(shù)據(jù)集進行層次 似的分解，直到某種條件滿足為止。具體又可分為“自底向上和“自頂向下 兩種方案。例如在“自底向上 方案中，初始時每一個數(shù)據(jù)紀錄都組成一個單獨 的組，在接下來的迭代中，它把那些相互鄰近的組合并成一個組，直到所有的記 錄組成一個分組或者某個條件滿足為止。代表算法有：b i r c h 算法、c u r e 算法、 c h a m e l e o n 算法等； ( 3 ) 基于密度的方法( d e n s i t y b a s e dm e t h o d s ) ：基于密度的方法與其它方 法的一個根本區(qū)別是：它不是基于各種各樣的距離的，而是基于密度的。這樣就 能克服基于距離的算法只能發(fā)現(xiàn)“類圓形”的聚類的缺點。這個方法的知道思想 就是，只要一個區(qū)域中的點的密度大過某個閥值，就把它加到與之相近的聚類中 去。代表算法有：d b s c a n 算法、o p t i c s 算法、d e n c l u e 算法等； ( 4 ) 基于網(wǎng)格的方法( g r i d - b a s e dm e t h o d s ) ：這種方法首先將數(shù)據(jù)空間劃 分成為有限個單元( c e l l ) 的網(wǎng)格結(jié)構(gòu)，所有的處理都是以單個的單元為對象的。 這么處理的一個突出的優(yōu)點就是處理速度很快，通常這是與目標數(shù)據(jù)庫中記錄的 個數(shù)無關(guān)的，它只與把數(shù)據(jù)空i 日j 分為多少個單元有關(guān)。代表算法有：s t i n g 算法、 c l i q u e 算法、w a v e c l u s t e r 算法； ( 5 ) 基于模型的方法( m o d e l - b a s e dm e t h o d s ) ：基于模型的方法給每一個聚 類假定一個模型，然后去尋找能很好的滿足這個模型的數(shù)據(jù)集。這樣一個模型可 能是數(shù)據(jù)點在空間中的密度分布函數(shù)或者其它。它的一個潛在的假定就是：目標 數(shù)據(jù)集是由一系列的概率分靠所決定的。通常有兩種嘗試方向：統(tǒng)計的方案和神 經(jīng)網(wǎng)絡的方案。 俗話說：“物以類聚，人以群分”。在自然科學和社會科學當中，存在著大量 的分類聚類問題。分類分析與聚類分析相輔相成，它們之間既存在相同點也存在 不同點。聚類分析是研究分類問題的一種統(tǒng)計分析方法，起源于分析方法學。他 們的目標最終都是把特定的數(shù)據(jù)源歸成幾類，但聚類與分類不同。前者是通過對 第2 蘋數(shù)據(jù)挖 j i 與髑j l k 桿能 曼曼曼曼曼iii 一 一 i i ii 鼉曼曼曼曼曼曼! 曼曼曼! 曼曼皇! 曼曼曼! 曼曼曼曼! ! 曼曼! 苧曼曼皇曼曼曼曼皇曼曼舅 數(shù)據(jù)的分析生成新的類標識，而后者是在特定的類標識下找出新元素的歸屬類。 聚類沒有訓練事例和預先定義的類標識。在通常情況下，聚類分析形成一些概念， 即一組數(shù)據(jù)可以用一個概念來概括，由此大量的源數(shù)據(jù)可以按照一定的算法歸納 成幾個類或簇，這樣一來我們最終可以根據(jù)不同簇的特點性質(zhì)得出不同的結(jié)論。 在稅收管理分析中，根據(jù)不同商品的銷售情況得出不同的模式，采用不同的措施 是我國稅收征管的必然趨勢。 4 預測性分析 預測是數(shù)據(jù)挖掘中非常重要的任務之一。它指的是根據(jù)歷史的和當前的實例 數(shù)據(jù)總結(jié)出知識、模式，并能推測未來數(shù)據(jù)趨勢走勢的方法。預測型挖掘主要有 兩大方法：分類預測和時間序列預測。 ( 1 ) 分類預測：首先對輸入樣本進行分析處理，得出數(shù)據(jù)的分類模型。這 個過程可以利用分類技術(shù)的各種算法( 決策數(shù)、遺傳算法等) ，然后利用當前剩 余的大量數(shù)據(jù)進行模型的驗證并不斷地對模型進行修正，最后對未來新的數(shù)據(jù)依 照模型進行歸類，達到預測的目的。 ( 2 ) 統(tǒng)計預測：和分類預測有很大的不同，在統(tǒng)計學中的預測是指根據(jù)時 間序列建立數(shù)學模型，然后對未來的某一時刻可能發(fā)生的情況進行預測。由于這 類預測方法是以時間為關(guān)鍵屬性的，所以可以稱為時間序列分析。如對數(shù)據(jù)源中 某一個變量x ( t ) 按照時間先后順序進行觀察和分析，在一段觀察時刻t 1 ，t 2 ， t 3 t n ( t 為時間的先后順序) ，會得到一組離散的數(shù)值。這就組成了一個時間序 列集合。時間序列分析是對系統(tǒng)觀測得到的時間序列數(shù)據(jù)建立模型的理論依據(jù)， 一般采用曲線擬合、參數(shù)估計和回歸預測方法。 一 預測型的數(shù)據(jù)挖掘是建立在統(tǒng)計學、神經(jīng)網(wǎng)絡和機器學習技術(shù)之上的。現(xiàn)在 已經(jīng)有了成熟的幾類模式： ( 1 ) 趨勢預測模式：主要針對那些具有時序?qū)傩缘臄?shù)據(jù)，如股票價格，蔬 菜價格等。 ( 2 ) 序列模式：主要是指在一段時間內(nèi)根據(jù)某幾個事件序列發(fā)生的次序以 及出現(xiàn)的頻繁程度來進行預測的模式。例如在商場銷售中，很多顧客先買了油漆， 然后買家具，接著買家電，那么在 就很有可能是一條序列模 式。 ( 3 ) 神經(jīng)網(wǎng)絡模式：通過對歷史數(shù)據(jù)的分析建立神經(jīng)網(wǎng)絡模型，但是要學 會基于時時數(shù)據(jù)不斷地更新此網(wǎng)絡模型。 預測分析一直是數(shù)據(jù)分析的目標，作為數(shù)據(jù)挖掘的一個有重要實際意義的分 支，在商場應用中，它可以從顧客序列中挖掘出大多數(shù)人的連續(xù)購買模式，并且 可以幫助稅務部門確定大量交易數(shù)據(jù)中多種商品層次中隱含的鮮為人知的序列 模式，對我國稅收管理具有重要的現(xiàn)實意義。 9 北京t 業(yè)人學t 學碩- t ? 學位論文 2 2 商業(yè)智能 當商業(yè)智能( b u s i n e s si n t e l l i g e n c e ) 像旋風一樣席卷國內(nèi)時，b i 的概念就猶 如滿天飛絮一樣，飄落在人們的腦海罩。但是在當今的i t 界，還是有相當多人 對b i 的認識和認知很淺薄。我們不得不承認商業(yè)智能的出現(xiàn)與數(shù)據(jù)挖掘是分不 開的。伴隨著經(jīng)濟的商業(yè)化，對商業(yè)數(shù)據(jù)分析和處理的需求越來越強烈，可以說 商業(yè)智能為我們正確的了解和應用商務活動提供了一種解決方案。 2 2 1 商業(yè)智能的概念 商業(yè)智能的概念最早是g a r t n e rg r o u p 于1 9 9 6 年提出來的。當時將商業(yè)智能 定義為一類由數(shù)據(jù)倉庫( 或數(shù)據(jù)集市) 、查詢報表、聯(lián)機分析、數(shù)據(jù)挖掘、數(shù)據(jù) 備份和恢復等部分組成的，以幫助企業(yè)決策為目的的技術(shù)及其應用。而現(xiàn)在商業(yè) 智能有了更新更深刻的含義： 1 行業(yè)應用b i 解決方案的價值已經(jīng)逐步成為企業(yè)之間競爭的有力武器和目 標追求 b i 應用作為近幾年中國i t 界增長最快的一個領域，在國外該系列產(chǎn)品可以 賣到幾十萬甚至上百萬人民幣，國內(nèi)產(chǎn)品也要賣到幾萬到幾十萬人民幣。企業(yè)只 要認知了這個平臺價值，它就能給在當今市場競爭激勵的i t 企業(yè)帶來新的利潤 增長點，創(chuàng)造高額的利潤。其實，許多i t 企業(yè)經(jīng)過多年的運作，在不同的領域 里都積累了不少的“行業(yè)經(jīng)驗”，例如在保險、電信、公安等等領域都有相當豐富 的“行業(yè)經(jīng)驗”和資源，如果能充分認知b i ，并能借助b i 工具的優(yōu)勢，搭建行業(yè) b i 解決方案平臺，將會使企業(yè)如虎添翼，充分發(fā)揮出“行業(yè)經(jīng)驗”的價值。 2 b i 中的統(tǒng)計報表與分析挖掘 首先現(xiàn)代商務中對報表的需求己逐漸加大。而b i 中的信息處理包括查詢和 基本的統(tǒng)計分析，如使用交叉表、圖表或者圖進行報表的展示。分析處理支持基 本的o l a p 操作，如上鉆、下鉆、旋轉(zhuǎn)、切片和切塊等，其表現(xiàn)形式也大都以報 表為主，并且數(shù)據(jù)源并不只包含傳統(tǒng)報表的數(shù)據(jù)庫數(shù)據(jù)源，而且融入了各種各樣 的跟企業(yè)運作相關(guān)的數(shù)據(jù)形式。其次引入了數(shù)據(jù)倉庫的概念。因為數(shù)據(jù)倉庫夠大、 夠清楚、夠全面，并且對統(tǒng)計分析需要的數(shù)據(jù)源支持得夠好，這些優(yōu)點是傳統(tǒng)的 數(shù)據(jù)庫沒有的，數(shù)據(jù)倉庫的概念后面一章會有所介紹。 2 2 2 商業(yè)智能的工具與基本步驟 商業(yè)智能的實現(xiàn)包含了“數(shù)據(jù)一信息一知識一智慧一決策”這一過程所運用 l o 第2 章數(shù)據(jù)挖掘與商業(yè)智能 的技術(shù)和方法。在國外已經(jīng)具有廣闊的應用前景，吸引了相當對的軟件商為其提 供解決方案。其中有m i c r o s o f t 、i b m 、o r a c l e 、s y b a s e 以及s a s 公司等。一個 完整的b i 應用需要e t l 工具、數(shù)據(jù)倉庫工具、o l a p 工具、數(shù)據(jù)挖掘工具和報表 查詢工具。表2 1 列出了這方面的幾款主要產(chǎn)品【4 】： 表2 - i 商業(yè)智能的兒款常見產(chǎn)品 t a b l e2 - 1s o m ec o m m o nb u s i n e s si n t e l l i g e n c ep r o d u c t s 公司名稱e t l 工具數(shù)據(jù)倉庫管理工具o l a p 工具數(shù)據(jù)挖掘j i 具報表1 ：具 m i c r o s o f ts s i s s q ls e r v e r s s a ss s a ss s r s i b mw a r e h o u s ev i s u a lw a r e h o u s eo l a p i n t e l l i g e n ti n s i g h t m a n a g e r s e r v e rm i n e r o r a c l ee t ls e r v e r e n t e r p r i s em a n a g e re x p r e s s d a r w i n e x p r e s s s e r v e r a n a l y s e r s y b a s er e p l i c a t i o n 腸r e h o u s es t u d i o胎r e h o u s es a ss p s si n f om a k e r s e r v e r a n a l y z e r p o w e r s t a g e w e k a 作為研究和學習的開源挖掘工具也得到了良好的應用。其中集合了大 量能承擔數(shù)據(jù)挖掘任務的機器學習算法，包括對數(shù)據(jù)進行預處理，分類，回歸、 聚類、關(guān)聯(lián)規(guī)則以及在新的交互式界面上的可視化。與以上工具相比，在非商業(yè) 領域占有一席之地，本文后續(xù)會有詳細的研究。 除了選取合適的工具以外，還要明確b i 實施的目標任務，并且按照j 下確的 邏輯步驟，才會取得良好的實效。以下是實施商業(yè)智能的主要步驟： ( 1 ) 需求分析：需求分析是商業(yè)智能運作的第一步，在其他活動開展之前 必須明確的定義企業(yè)對商業(yè)智能的期望和需求。包括需要分析的主題，各主題可 能查看的角度( 維度) ，需要發(fā)現(xiàn)企業(yè)那些方面的規(guī)律等?？傊?，用戶的需求必須 明確 ( 2 ) 數(shù)據(jù)倉庫建模：通過對客戶需求的分析，建立企業(yè)數(shù)據(jù)倉庫的邏輯模 型和物理模型，并規(guī)劃好系統(tǒng)的應用架構(gòu)，將企業(yè)各類數(shù)據(jù)按照分析主題進行組 織和歸類。 ( 3 ) 數(shù)掘抽取：數(shù)據(jù)倉庫建立后需將數(shù)據(jù)從業(yè)務系統(tǒng)中抽取到數(shù)據(jù)倉庫中， 簡稱數(shù)據(jù)集中。在抽取的過程中還必須將數(shù)據(jù)進行預處理、轉(zhuǎn)換、清洗，以適應 后面分析的需要。 ( 4 ) 挖掘平臺搭建：商業(yè)智能的關(guān)鍵。根據(jù)需求選擇合適的挖掘算法創(chuàng)建 智能分析平臺?；诖似脚_可以輕松的創(chuàng)建商業(yè)智能分析報表。用良好的界面形 式呈現(xiàn)給客戶。 ( 5 ) 模式知識的發(fā)現(xiàn)：利用創(chuàng)建好的智能系統(tǒng)，通過對大量數(shù)據(jù)的分析處 理，隱藏的、為決策者所關(guān)心的知識模式是不難發(fā)現(xiàn)的。 北京t 業(yè)大學t 學顧十學位論文 2 2 3 商業(yè)智能的作用與意義 下面2 - 2 以圖示的形式展示了商業(yè)智能帶給我們的方便與快捷。 發(fā)生事件，文數(shù)據(jù)倉庫( 1 v 7 以輻嘉1 1 遼一 界面展示，獲取 分析問題c * a 嗡 ? 。、決策需要的各種 n 一1 數(shù)據(jù) f ，j l 橢幽籬圈 黑 圖2 2 商業(yè)智能的作用 f i g u r e2 - 2t h er o l eo fb u s i n e s si n t e l l i g e n c e 由圖可以看出運用商業(yè)智能后，企業(yè)內(nèi)的信息都日常性地保存到企業(yè)的數(shù)據(jù) 倉庫中，以備決策者做決策時對信息訪問的需要。決策者獲得這些信息不需要再 依賴于傳統(tǒng)信息交換流程中的紙質(zhì)報表、手工數(shù)據(jù)匯總的、落后耗時費力的信息 傳遞方式，他通過非常簡單的方式訪問企業(yè)數(shù)據(jù)倉庫，就可以訪問到他在決策過 程中需要的所有信息，而且這些信息的訪問界面可以是為他的需要量身訂做的。 同時由于信息獲取過程中完全的自動化和規(guī)范化，降低了由于人工傳遞信息而帶 來的無法避免的信息殘缺和誤差，使獲取信息的準確性得到有力的保證，為企業(yè) 決策與戰(zhàn)略調(diào)整節(jié)省了大量的寶貴時f n j 。 2 3 數(shù)據(jù)挖掘與商業(yè)智能的依存關(guān)系 提到數(shù)據(jù)挖掘，就不能不提商業(yè)智能?？偟恼f來，數(shù)據(jù)挖掘是技術(shù)，商業(yè)智 能是形態(tài)，兩者是一個統(tǒng)一體，互為補充。商業(yè)智能技術(shù)并不是基礎技術(shù)或者產(chǎn) 品技術(shù)，它是數(shù)據(jù)倉庫、聯(lián)機分析處理o l a p 和數(shù)據(jù)挖掘等相關(guān)技術(shù)走向商業(yè)應 用后形成的一種應用技術(shù)。商業(yè)智能的本質(zhì)就是將數(shù)據(jù)挖掘的智能計算技術(shù)應用 于傳統(tǒng)商業(yè)領域，從而提高數(shù)據(jù)分析能力，優(yōu)化業(yè)務過程和規(guī)則，提高企業(yè)競爭 力。雖然商業(yè)智能的普及僅僅是最近幾年的事情，但已經(jīng)滲透到金融，電信，零 售，醫(yī)藥，制造，政府等各個行業(yè)和領域，成為大中型企業(yè)經(jīng)營決策的重要組成 部分。數(shù)據(jù)挖掘已經(jīng)逐漸成為商業(yè)智能系統(tǒng)的高層應用，是不可或缺的重要部分。 數(shù)據(jù)挖掘是一項技術(shù)，由許許多多的算法構(gòu)成，并且每種算法可以有多種實 現(xiàn)方式。數(shù)據(jù)挖掘滲透到某些行業(yè)，產(chǎn)生了一些特定的應用，就形成了商業(yè)智能。 1 2 第2 章數(shù)據(jù)挖掘與兩業(yè)桿能 m = i = = = m mm m ：m m ： i。 。曼曼! ! 曼曼曼皇曼曼曼鼉曼!