數(shù)據(jù)挖掘在企業(yè)中的應用

數(shù)據(jù)挖掘在企業(yè)中的應用近年來，人們希望有新的技術和工具對大量數(shù)據(jù)進行強有力的分析，從中提取出有價值的信息，為決策者提供必要的支持。由此，數(shù)據(jù)挖掘技術應運而生。許多企業(yè)實施了ERP系統(tǒng)，完成了企業(yè)業(yè)務管理的功能，并形成了準確、及時、完整的基礎數(shù)據(jù)。然而，決策中最重要問題是如何獲取更高層次的知識，來把握企業(yè)整體運作和決定企業(yè)未來的戰(zhàn)略發(fā)展，這就需要可靠的決策支持系統(tǒng)，而數(shù)據(jù)挖掘技術就成為實現(xiàn)決策支持系統(tǒng)的最佳途徑。一、數(shù)據(jù)挖掘的發(fā)展20世紀90年代以來，由于經(jīng)濟全球化和市場國際化的發(fā)展趨勢，制造業(yè)所面臨的競爭更趨激烈。經(jīng)歷了40年代的訂貨點法、60年代的時段式MRP、70年代的閉環(huán)MRP、80年代的MRPII后，隨著市場競爭的加劇，企業(yè)競爭空問與范圍進一步擴大，MRPII逐步發(fā)展為怎么樣有效利用和管理整體資源的管理思想。隨后，在MRPII基礎上發(fā)展起來的ERP于90年代產(chǎn)生[]。ERP是一個高度集成的信息系統(tǒng)，它體現(xiàn)了物流信息與資金流信息的集成。在ERP系統(tǒng)中，制造、供銷和財務三大部分是其重要組成部分。此外，在功能上還增加了支持物料流通體系的運輸管理、倉庫管理；支持在線分析處理(OLAP)、售后服務及質(zhì)量反饋；支持生產(chǎn)保障體系的質(zhì)量管理、試驗室管理、設備維修和備品備件管理；支持跨國經(jīng)營的多國家地區(qū)、多工廠、多語種、多幣值需求；支持多種生產(chǎn)類型或混合型制造企業(yè)：支持遠程通信(web／Intranet／Internet／E—business)、電子數(shù)據(jù)交換(EDI)、電子商務(E—cormerce)；支持工作流動態(tài)模型變化與信息處理程序命令的集成等。事實上，當前的一些ERP軟件所具備的功能已經(jīng)遠遠超出制造業(yè)的應用范圍，成為一種適應性強、具有廣泛應用意義的企業(yè)管理信息系統(tǒng)[]。隨著企業(yè)信息化的發(fā)展，ERP做為一個集成的、以電子化的管理信息與業(yè)務流程貫穿于企業(yè)經(jīng)營各個方面的系統(tǒng)，在企業(yè)中廣泛得以應用，極大地提高了企業(yè)的競爭力，并且積累了比較準確的、及時的、完整的基本事務數(shù)據(jù)。然而，對于企業(yè)管理層來說，想要得到可以輔助決策的信息，就需要決策支持系統(tǒng)。它是以管理科學、計算機科學等為基礎，以計算機技術、人工智能技術、數(shù)學方法和信息技術等為手段，主要面對半結(jié)構化的決策問題，支持中高級決策者的決策活動的一種人機交互系統(tǒng)。它能為決策者迅速而準確地提供決策需要的數(shù)據(jù)、信息和背景材料，幫助決筑者明確目標，建立和修改模型，提供備選方案，評價和優(yōu)選各種方案，通過人機對話進行分析、比較和判斷，為正確決策提供有力支持[]。根據(jù)這個定義，可以看到現(xiàn)有ERP系統(tǒng)滿足的只是預先定義處理規(guī)則的日常決策。例如，根據(jù)企業(yè)制定的庫存最低限額，倉庫管理員每天都要做出這樣的決策：今天有哪些材料要提請采購、采購量各是多少等?而那些戰(zhàn)術層次的、半結(jié)構的決策，ERP系統(tǒng)就不能像操作決策那樣完全可以駕馭、甚至取代人來完成了。例如，年度經(jīng)營預算的編制，無論是以銷售收入為起點的預算、還是以制造數(shù)量為起點的預算，雖然有其規(guī)范的編制格式和項目間的聯(lián)動關系，但其起點的銷售收入和制造數(shù)量，則由于相關因素太多，而不能給出非常合理的預測。不難看出，ERP只能完成量化的部分、來自內(nèi)部與歷史的部分，而那些定性的、柔性的部分，只能由決策者在此基礎上自行完成。所以，如何由ERP系統(tǒng)直接為決策者提供基于歷史數(shù)據(jù)的決策支持，正是現(xiàn)有ERP系統(tǒng)期待解決的問題。數(shù)據(jù)挖掘(DataMining，DM)的出現(xiàn)解決了這一問題，它是從數(shù)據(jù)中發(fā)現(xiàn)趨勢或模式的過程。這一過程的目標就是通過對大量數(shù)據(jù)的分類從而抽取出人們感興趣的知識，這些知識是隱含的、事先未知的但非常有用的重要信息。DM能自動地分析企業(yè)的數(shù)據(jù)，做出歸納性推理，從中挖掘出潛在的模式和規(guī)律，預測在未來可能發(fā)生的行為，幫助決策者做出正確決策[]。數(shù)據(jù)挖掘技術發(fā)展迅速，一些通用數(shù)據(jù)挖掘軟件相繼誕生，例如DBMiner、IntelligentMiner等。然而通用數(shù)據(jù)挖掘系統(tǒng)在處理特定應用問題時有其局限性，因為ERP系統(tǒng)有其特殊性和復雜性，它需要與數(shù)據(jù)挖掘融合起來，采用符合ERP系統(tǒng)要求的挖掘模型和算法，將挖掘結(jié)果結(jié)合到ERP系統(tǒng)的決策功能中。針對這些問題，文獻[]提出了一個將數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術應用到ERP采購管理的模型DWBPMS(DataWarehouseBasedPurchaseManagementSystem)，強調(diào)數(shù)據(jù)挖掘結(jié)合在ERP中的體系結(jié)構。文獻[]針對ERP銷售數(shù)據(jù)的特點，強調(diào)用神經(jīng)網(wǎng)絡預測銷售的時阿序列方法應用于ERP數(shù)據(jù)挖掘中。文獻[]提出了一種智能制造資源計劃和智能企業(yè)資源計劃的全新系統(tǒng)模式，即IMRPII／IERP=MRPII／ERP+Dw十0LAP+DM，設計出了一種智能預測模塊的方法。文獻[]的DSS設計方案中，提出了基于C／S和B／S的OLAM混合結(jié)構，采用了多種數(shù)學模型來滿足挖掘需求，并運用到企業(yè)級決策支持系統(tǒng)中。文獻[]從系統(tǒng)工程進行決策分析的角度出發(fā)，將決策系統(tǒng)分為相容性和不相容性決策系統(tǒng)，針對不同系統(tǒng)的特點提出不同的挖掘模型，并利用粗糙集的方法進行數(shù)據(jù)的約減和規(guī)則提取等。文獻[]描述了在ERP系統(tǒng)中進行知識發(fā)現(xiàn)和數(shù)據(jù)挖掘所用到的理論和技術支持、評價標準等，從而建立起一個基本的框架結(jié)構?？梢钥吹?，在決策支持系統(tǒng)中采用數(shù)據(jù)挖掘技術以及ERP與數(shù)據(jù)挖掘技術的結(jié)合已經(jīng)取得了一定的進步，但由于ERP系統(tǒng)的復雜性和特殊性，數(shù)據(jù)挖掘在這一領域的應用還需要進一步的研究。二、分類算法與決策系統(tǒng)在數(shù)據(jù)挖掘和機器學習領域中分類是一項非常重要的基本任務。它能對大量有關數(shù)據(jù)進行學習和分析，并建立相應問題領域中的分類模型。該技術在科學、通訊、金融等領域均有著廣泛的應用．決策樹分類方法作為分類知識發(fā)現(xiàn)的一種非常重要方法，它具有良好的可解釋性、分類速度快、分類性能優(yōu)越，因此，研究決策樹分類器算法逐漸成為一個活躍的研究領域。最為典型的決策樹分類器學習算法是ID3算法，它采用自頂向下分而治之的策略，利用信息增益的標準選擇分裂屬性，能保證構造出一棵簡單的樹。但是它只能處理枚舉型屬性，不能解決過適應問題。C4．5算法很好地擴展了ID3算法，它將分類領域從枚舉型屬性擴展到連續(xù)值屬性，同時采用剪枝策略很好地解決了過適應問題。目前它己成為現(xiàn)在公認的性能較優(yōu)的決策樹分類器算法。在實際應用中，我們所構建的決策樹通常是基于大型數(shù)據(jù)庫中的海量數(shù)據(jù)，如何將決策樹的構建與數(shù)據(jù)庫技術充分結(jié)合起來仍是一個值得研究的問題，為此，很多以前提出的算法被重新研究和拓展。分類技術是數(shù)據(jù)挖掘的重要分支，它能夠?qū)Ω鱾€行業(yè)提供良好的決策支持，對整個社會的發(fā)展產(chǎn)生重要而深遠的影響。用于分類挖掘技術的方法有很多，如決策樹方法、遺傳算法、貝葉斯網(wǎng)絡、粗糙集、K最臨近方法、關聯(lián)規(guī)則方法等等。在這些方法中，決策樹方法以其算法容易被入理解、易轉(zhuǎn)換成IF-THEN分類規(guī)則、效率較高等優(yōu)點被廣泛研究與應用，使得它在數(shù)據(jù)挖掘領域中有著重要的地位。目前分類挖掘在實際應用中有著很重要的應用價值，在很多行業(yè)領域都取得實現(xiàn)了決策模型的移植和重用，從而降低了DSS系統(tǒng)的開發(fā)周期和費用，使我們能利用模型組件快速搭建系統(tǒng)，同時也提高了系統(tǒng)的可維護性、可靠性和可擴充性。五、決策系統(tǒng)在汽車ERP中的應用近年來，企業(yè)資源計劃ERP在我國的應用越來越廣泛，許多企業(yè)把實施ERP系統(tǒng)作為在WTO環(huán)境下實現(xiàn)企業(yè)信息化、提升競爭力的唯一選擇。然而，對汽車業(yè)的調(diào)查資料顯示：ERP系統(tǒng)實施運行后，雖然在一定程度上有效地改善了企業(yè)內(nèi)部管理，但系統(tǒng)積累的大量實時數(shù)據(jù)沒有被深層次綜合分析利用，系統(tǒng)存在數(shù)據(jù)利用程度不夠、預測功能難以有效實現(xiàn)等缺陷。事實上，ERP作為一種先進的企業(yè)管理信息系統(tǒng)，其基本特征是“聯(lián)機事務處理”【】，一般著眼于企業(yè)的后臺管理，把需求預測作為外部輸入，但是用常規(guī)數(shù)據(jù)分析方法進行的市場銷售預測往往不準確，因而難以依據(jù)這種預測合理地安排生產(chǎn)。能否利用ERP系統(tǒng)本身積累的大量完整數(shù)據(jù)資料，并通過導入數(shù)據(jù)挖掘技術找出預測所需的信息呢？在中國Geely汽車公司ERP系統(tǒng)中的研究實驗表明，利用決策樹方法在GL-ERP系統(tǒng)中進行數(shù)據(jù)挖掘是有效的，可以為系統(tǒng)的需求預測提供一些潛在的有用信息，在一定程度上緩解傳統(tǒng)ERP系統(tǒng)把需求預測作為外部輸入帶來的局限性。六、數(shù)據(jù)倉庫在稅收領域的應用1稅務系統(tǒng)信息化建設現(xiàn)狀和存在的問題伴隨著信息技術的迅猛發(fā)展，稅務部門的信息化建設水平也在不斷提高，信息技術已經(jīng)融人到涉稅事務的方方面面。但是現(xiàn)有的不同版本、不同功能的稅收業(yè)務系統(tǒng)并不能解決稅務決策支持所帶來的問題，主要原因如下：1、數(shù)據(jù)的處理時效問題稅收業(yè)務系統(tǒng)主要解決稅務人員在日常事務處理中面臨的問題，側(cè)重于事務處理的操作性和實時性。而稅務決策支持則需要遍歷大量的涉稅數(shù)據(jù)，問題處理的時間亦較長，有時可能會連續(xù)運行多個小時，因此用稅收業(yè)務系統(tǒng)來處理稅務決策支持所需要解決的問題顯然是不合適的【】。2、數(shù)據(jù)的集成性問題稅收業(yè)務系統(tǒng)主要解決某項具體的涉稅事務，例如申報征收、稅務稽查、執(zhí)法考核等，側(cè)重于稅務系統(tǒng)內(nèi)部的事務。而稅務決策支持要解決某個決策分析問題，則不僅需要稅務部門內(nèi)部的數(shù)據(jù)，還需要銀行、工商、統(tǒng)計等部門的外部數(shù)據(jù)，這就涉及到系統(tǒng)數(shù)據(jù)的集成性問題，而一般的稅收業(yè)務系統(tǒng)則不具備這樣的功能【】。3、數(shù)據(jù)的時間性問題稅收業(yè)務系統(tǒng)主要解決當前的涉稅操作問題，數(shù)據(jù)庫中只保存短期的數(shù)據(jù)而稅務決策支持要解決的問題在時間上有比較大的跨度，因此只保留短期的涉稅數(shù)據(jù)是遠遠不夠的，它可能需要幾年前甚至更長時間的相關數(shù)據(jù)，對數(shù)據(jù)的時間性要求更高【】。4、數(shù)據(jù)的綜合性問題由于稅收業(yè)務系統(tǒng)主要處理的是日常操作型問題，系統(tǒng)產(chǎn)生了大量的細節(jié)數(shù)據(jù)，而稅務決策支持是對某個問題進行宏觀的決策分析，這些數(shù)據(jù)的存在將會影響分析的效率，同時亦不利于分析人員在浩瀚的數(shù)據(jù)中找到有價值的