數(shù)據(jù)挖掘在管理中的應(yīng)用研究

數(shù)據(jù)挖掘在管理中的應(yīng)用研究

挖掘數(shù)據(jù)也稱為數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)，是一項(xiàng)復(fù)雜的過(guò)程，從大量、不完整、噪聲、模糊、隨機(jī)的數(shù)據(jù)中提取隱藏、未知、有價(jià)值的模式、規(guī)律和其他知識(shí)。隨著信息化程度的加劇,企業(yè)和組織更容易獲取和存儲(chǔ)大量數(shù)據(jù)。如何應(yīng)用數(shù)據(jù)挖掘?qū)Ａ繑?shù)據(jù)進(jìn)行有效分析以準(zhǔn)確發(fā)現(xiàn)潛在的數(shù)據(jù)模式,使企業(yè)和組織的管理者能夠更加科學(xué)有效地進(jìn)行決策,提高收益和市場(chǎng)競(jìng)爭(zhēng)力,已經(jīng)引起了管理科學(xué)研究者的廣泛關(guān)注。由此,我國(guó)管理科學(xué)界建議將“管理數(shù)據(jù)挖掘”列為管理科學(xué)與工程學(xué)科在“十一五”期間的重點(diǎn)資助方向。針對(duì)“十一五”期間管理數(shù)據(jù)挖掘項(xiàng)目的資助情況,從理論和應(yīng)用2個(gè)方面對(duì)國(guó)內(nèi)最新研究進(jìn)展進(jìn)行初步歸納,以期為研究者了解該領(lǐng)域的研究前沿和方向提供幫助,提高我國(guó)管理數(shù)據(jù)挖掘研究的理論和實(shí)踐水平。1資助項(xiàng)目研究在“十一五”期間,國(guó)家自然科學(xué)基金委員會(huì)管理科學(xué)部(簡(jiǎn)稱“管理科學(xué)部”)管理科學(xué)與工程學(xué)科資助管理數(shù)據(jù)挖掘研究項(xiàng)目達(dá)42項(xiàng),其中重點(diǎn)項(xiàng)目2項(xiàng)、面上項(xiàng)目29項(xiàng)、青年基金項(xiàng)目11項(xiàng)。資助項(xiàng)目數(shù)呈穩(wěn)定增加趨勢(shì),在2010年達(dá)到11項(xiàng)(見(jiàn)圖1)。從資助項(xiàng)目的研究領(lǐng)域看,2項(xiàng)重點(diǎn)項(xiàng)目主要集中于數(shù)據(jù)挖掘的基礎(chǔ)理論和方法研究。40項(xiàng)面上項(xiàng)目和青年項(xiàng)目幾乎都涉及基礎(chǔ)理論方法和應(yīng)用研究2個(gè)方面,其中有22項(xiàng)側(cè)重于數(shù)據(jù)挖掘的基礎(chǔ)理論方法研究,有18項(xiàng)側(cè)重于數(shù)據(jù)挖掘在管理中的應(yīng)用研究(見(jiàn)表1)。2對(duì)數(shù)據(jù)挖掘方法與技術(shù)的創(chuàng)新性研究在國(guó)家自然科學(xué)基金的資助下,我國(guó)學(xué)者在數(shù)據(jù)挖掘理論方法及其應(yīng)用方面取得了一系列研究成果。這些研究不是簡(jiǎn)單地將數(shù)據(jù)挖掘的方法和技術(shù)直接應(yīng)用于各種管理問(wèn)題,而是針對(duì)問(wèn)題特性提出了具有一定創(chuàng)新性的新理論或新方法,使其能更好地用于解決實(shí)際管理問(wèn)題。這與目前國(guó)家自然科學(xué)基金在該領(lǐng)域的資助目標(biāo)是一致的,即面向管理問(wèn)題的理論與方法的創(chuàng)新性研究。2.1本文在挖掘理論的基礎(chǔ)上取得了成果從內(nèi)容上看,數(shù)據(jù)挖掘基礎(chǔ)研究主要集中于功能方法方面,目的是提高數(shù)據(jù)挖掘所獲知識(shí)的準(zhǔn)確性。2.1.1傳統(tǒng)數(shù)據(jù)挖掘方法已將復(fù)雜的項(xiàng)目集進(jìn)行內(nèi)關(guān)聯(lián)規(guī)則分析的目的是從大量的數(shù)據(jù)中抽取出數(shù)據(jù)項(xiàng)之間所存在的有價(jià)值的關(guān)聯(lián)性。在關(guān)聯(lián)規(guī)則分析算法方面,CHEN等以格論及位圖索引技術(shù)為基礎(chǔ)提出了一種新的頻繁項(xiàng)集發(fā)現(xiàn)算法,該算法利用有向圖進(jìn)行一次性數(shù)據(jù)預(yù)處理,在預(yù)處理過(guò)程中將數(shù)據(jù)庫(kù)預(yù)先存貯為每個(gè)節(jié)點(diǎn)都用一個(gè)域來(lái)記錄其支持度的項(xiàng)目集格,從而把復(fù)雜的頻繁項(xiàng)目集的發(fā)現(xiàn)問(wèn)題轉(zhuǎn)化為圖搜索問(wèn)題,提高了頻繁項(xiàng)目集發(fā)現(xiàn)過(guò)程的效率。隨著信息技術(shù)的進(jìn)步,企業(yè)數(shù)據(jù)庫(kù)規(guī)模越來(lái)越大、復(fù)雜性越來(lái)越高,各類數(shù)據(jù)的維度(屬性)通?？梢赃_(dá)到成百上千維甚至更高。同時(shí),大量數(shù)據(jù)以數(shù)據(jù)流的形式快速產(chǎn)生,并具有很強(qiáng)的實(shí)時(shí)性。由此,傳統(tǒng)的數(shù)據(jù)挖掘方法難以適應(yīng)這類數(shù)據(jù)的挖掘。LIU等在經(jīng)典的關(guān)聯(lián)規(guī)則分析方法基礎(chǔ)上,提出了高維度數(shù)據(jù)中發(fā)現(xiàn)閉合頻繁序列模式的算法。在數(shù)據(jù)流挖掘方面,學(xué)者們對(duì)頻繁項(xiàng)集挖掘問(wèn)題進(jìn)行了較為全面的綜述和研究,發(fā)現(xiàn)了已有方法在誤差上界方面計(jì)算的缺陷,提出了新的誤差上界和算法。2.1.2嵌入加速器增加了屬性約簡(jiǎn)學(xué)習(xí)分類與預(yù)測(cè)是2種數(shù)據(jù)分析形式,其目的是抽取能夠描述重要數(shù)據(jù)集合或預(yù)測(cè)未來(lái)數(shù)據(jù)趨勢(shì)的模型。粗糙集是分類與預(yù)測(cè)中一種重要的理論方法,在處理具有不確定性的數(shù)據(jù)時(shí)能在保留基本信息的前提下對(duì)數(shù)據(jù)進(jìn)行約簡(jiǎn),并求得知識(shí)的最小表達(dá)式。根據(jù)客觀世界的規(guī)整性和重復(fù)性,QIAN等利用粗糙集理論導(dǎo)出決策規(guī)則,設(shè)計(jì)了一種基于正向近似的屬性約簡(jiǎn)加速器。針對(duì)完備與非完備決策表,將該加速器嵌入到常用啟發(fā)式屬性選擇方法中,在屬性選擇的過(guò)程中不斷地去除當(dāng)前粒度下決策表相對(duì)正域中的對(duì)象,而不改變對(duì)各個(gè)屬性的評(píng)價(jià)結(jié)果。嵌入加速器后的屬性約簡(jiǎn)算法即可以保持原有算法的屬性約簡(jiǎn)結(jié)果,也可以大大減少屬性約簡(jiǎn)算法的耗時(shí)。此外,QIAN等還通過(guò)利用多個(gè)不同的等價(jià)關(guān)系描述一個(gè)集合近似,提出了多粒度粗糙集模型,給出了該模型的一些重要性質(zhì),并在此基礎(chǔ)上提出了多粒度粗糙集近似約簡(jiǎn)的定義,給出了相應(yīng)的規(guī)則提取方法,進(jìn)一步拓展了粗糙集模型。在分類與預(yù)測(cè)方法研究方面,我國(guó)學(xué)者利用不同的推廣的粗糙集模型從不同類型的數(shù)據(jù)中挖掘知識(shí)并融合以形成預(yù)測(cè)規(guī)則,從而解決預(yù)測(cè)問(wèn)題中不同類型數(shù)據(jù)中所挖掘知識(shí)的融合問(wèn)題,為不確定性決策的建模與分析提供新的方法。在多關(guān)系挖掘方面,學(xué)者們提出了一些新穎高效的多關(guān)系離散化方法以及特征和關(guān)系選取方法,以取得更高的分類預(yù)測(cè)準(zhǔn)確率。我國(guó)學(xué)者還將多目標(biāo)規(guī)劃引入數(shù)據(jù)挖掘中,提出了基于多目標(biāo)規(guī)劃的線性和非線性分類模型,證明了多目標(biāo)規(guī)劃是數(shù)據(jù)挖掘的一種重要工具。在實(shí)際的分類和預(yù)測(cè)問(wèn)題中,用于建立模型的數(shù)據(jù)往往具有噪聲,從而導(dǎo)致誤差。ZHONG等利用二階錐規(guī)劃建立了支持向量機(jī)的線性和非線性魯棒模型,實(shí)驗(yàn)證明該模型對(duì)于噪聲數(shù)據(jù)具有很好的魯棒性。對(duì)于多分類學(xué)習(xí)問(wèn)題,學(xué)者們建立了支持向量機(jī)的非光滑牛頓算法,以防止在傳統(tǒng)的“一對(duì)一”訓(xùn)練方式下信息的缺失問(wèn)題,并通過(guò)實(shí)驗(yàn)說(shuō)明了所提出方法具有高準(zhǔn)確率和低時(shí)耗。對(duì)于一些稀有類分析問(wèn)題,WU等將聚類技術(shù)和分類技術(shù)結(jié)合,將k-均值聚類方法引入分類領(lǐng)域,提出了基于局部聚類的COG和COG-OS分類框架。為了進(jìn)一步處理高度有偏數(shù)據(jù),還將抽樣技術(shù)與COG結(jié)合,發(fā)展出了適用于稀有類分析的新方法。2.1.3算法設(shè)計(jì)技術(shù)研究和序列挖掘聚類分析是將數(shù)據(jù)集劃分為若干數(shù)據(jù)簇的過(guò)程,使得同一個(gè)簇內(nèi)數(shù)據(jù)對(duì)象具有較高的相似度,不同簇內(nèi)數(shù)據(jù)對(duì)象具有較高的相異度。在聚類有效度評(píng)價(jià)方面,XIAO等利用偶極子給出了新的聚類一致性準(zhǔn)則,提出了GMDH聚類分析方法,從理論分析和實(shí)證比較2個(gè)方面論證了新的一致性準(zhǔn)則的優(yōu)越性。WU等針對(duì)F-measure這一廣泛應(yīng)用的聚類評(píng)價(jià)指標(biāo)在評(píng)價(jià)可重疊聚類結(jié)果時(shí)產(chǎn)生的遞增效應(yīng)和先驗(yàn)概率效應(yīng),提出了一種新的指標(biāo):蘊(yùn)含強(qiáng)度,并通過(guò)理論分析和實(shí)驗(yàn)說(shuō)明了該指標(biāo)能夠提高重疊聚類評(píng)價(jià)的準(zhǔn)確性。在聚類分析方法模型方面,XIAO等將模糊軟集合理論與GMDH算法結(jié)合,提出了一種新的模糊軟規(guī)則歸納法,通過(guò)模糊軟集合參數(shù)約簡(jiǎn)和局部最優(yōu)思想篩選中間細(xì)分規(guī)則來(lái)建立聚類整體最優(yōu)模型,克服了傳統(tǒng)的以主觀確定閾值來(lái)選擇模型的局限性和專家系統(tǒng)的主觀性,并具有較強(qiáng)的抗干擾性。針對(duì)時(shí)序分類型數(shù)據(jù),CAO等通過(guò)粗糙隸屬函數(shù)定義了2個(gè)概念之間的距離,基于滑動(dòng)窗口技術(shù)提出了概念漂移檢測(cè)算法,設(shè)計(jì)了不同滑動(dòng)窗口下聚類結(jié)果演化趨勢(shì)的可視化算法,并在網(wǎng)絡(luò)入侵檢測(cè)數(shù)據(jù)集上驗(yàn)證了算法的有效性。隨著互聯(lián)網(wǎng)的迅速發(fā)展,企業(yè)越來(lái)越關(guān)注能夠反映客戶網(wǎng)絡(luò)行為和信息的Web數(shù)據(jù)。YANG等研究了Web數(shù)據(jù)處理問(wèn)題及高效的Web挖掘方法,在序列模式挖掘研究方面提出了一種新的兩階段序列挖掘模式算法。同時(shí),還提出了一種更加準(zhǔn)確的衡量序列相似度的方法。在網(wǎng)頁(yè)信息挖掘方面,我國(guó)學(xué)者提出了依據(jù)鏈接信息衡量網(wǎng)頁(yè)標(biāo)簽以及資源之間相似度的方法,并提出了一種隨機(jī)游走模型,該模型可以同時(shí)考慮對(duì)象之間的直接和間接關(guān)系。在此基礎(chǔ)上,CUI等提出一個(gè)基于鄰居搜索的聚類方法,并提出了鄰居搜索的優(yōu)化策略,該方法可以自動(dòng)決定簇的個(gè)數(shù),能夠處理大規(guī)模數(shù)據(jù)。2.1.4時(shí)間序列優(yōu)化方法演化分析從數(shù)據(jù)序列中抽取隨時(shí)間變化的趨勢(shì)和規(guī)律,并用其對(duì)未來(lái)進(jìn)行預(yù)測(cè)。演化分析的一個(gè)重要研究?jī)?nèi)容是時(shí)間序列分析。時(shí)間序列數(shù)據(jù)本身所具備的高維性、復(fù)雜性、動(dòng)態(tài)性、高噪聲以及容易達(dá)到大規(guī)模的特性,使得時(shí)間序列挖掘成為近年來(lái)數(shù)據(jù)挖掘研究中最具有挑戰(zhàn)性的十大研究方向之一。ZHANG等基于獨(dú)立成分的廣義自相關(guān)性和信息的非高斯性,建立了一個(gè)優(yōu)化模型,并推導(dǎo)出了一個(gè)新的盲源提取算法,同時(shí)給出了算法的穩(wěn)定性分析和相應(yīng)的數(shù)值實(shí)驗(yàn)。為了實(shí)現(xiàn)帶有噪聲的時(shí)間序列數(shù)據(jù)盲源提取,學(xué)者們基于廣義自相關(guān)性和高斯矩建立了優(yōu)化模型,并推導(dǎo)出了一個(gè)考慮噪聲混合的盲源提取算法,進(jìn)行了相應(yīng)的數(shù)值實(shí)驗(yàn)。為了發(fā)現(xiàn)時(shí)間序列中的潛在結(jié)構(gòu),YANG建立了時(shí)間序列復(fù)雜性尋蹤統(tǒng)一模型,利用近似牛頓算法設(shè)計(jì)了一個(gè)不動(dòng)點(diǎn)算法,數(shù)值實(shí)驗(yàn)結(jié)果表明,該算法收斂速度快于梯度型算法。由于不需要迭代步長(zhǎng),因而算法更容易實(shí)現(xiàn)。為了實(shí)現(xiàn)高維時(shí)間序列的降維,LI等通過(guò)對(duì)時(shí)間序列進(jìn)行分段,并利用云模型來(lái)表示每個(gè)序列段的特征,進(jìn)而實(shí)現(xiàn)數(shù)據(jù)降維和特征表示。同時(shí),提出了基于期望曲線的云模型相似性度量,以便度量時(shí)間序列特征表示后云序列的相似性。這些理論方法在實(shí)際的時(shí)間序列數(shù)據(jù)挖掘中取得較好結(jié)果。2.2在公共服務(wù)方面的應(yīng)用研究在數(shù)據(jù)挖掘理論方法研究不斷深入的同時(shí),其在管理中的應(yīng)用研究也得到了較大發(fā)展。2.2.1提供優(yōu)質(zhì)服務(wù)需要滿足客戶需求客戶關(guān)系管理是企業(yè)的一種經(jīng)營(yíng)哲學(xué)和總體戰(zhàn)略,它采用先進(jìn)的信息與通信技術(shù)來(lái)獲取客戶數(shù)據(jù),運(yùn)用發(fā)達(dá)的數(shù)據(jù)分析工具來(lái)分析客戶數(shù)據(jù),挖掘客戶的需求特征、偏好變化趨勢(shì)和行為模式,積累、運(yùn)用和共享客戶知識(shí),通過(guò)針對(duì)性地為不同客戶提供具有優(yōu)異價(jià)值的定制化產(chǎn)品或服務(wù)來(lái)管理處于不同生命周期的客戶關(guān)系及其組合,通過(guò)有效的客戶互動(dòng)來(lái)強(qiáng)化客戶忠誠(chéng),并最終實(shí)現(xiàn)客戶價(jià)值最大化和企業(yè)價(jià)值最大化之間的合理平衡?？蛻絷P(guān)系管理的關(guān)鍵問(wèn)題是客戶細(xì)分。XIAO等提出了將GMDH聚類分析方法應(yīng)用于這一問(wèn)題中,與現(xiàn)有的理論成果比較,GMDH聚類分析方法擴(kuò)大了客戶細(xì)分的適用范圍。在旅游業(yè)客戶關(guān)系管理方面,YE等提出了基于機(jī)器學(xué)習(xí)方法的旅游客戶評(píng)論分類方法,并比較了支持向量機(jī)、樸素貝葉斯和基于字符的N-gram模型在進(jìn)行旅游客戶的評(píng)論分類的性能差異,發(fā)現(xiàn)了訓(xùn)練樣本數(shù)量對(duì)3種模型分類性能的影響機(jī)制。2.2.2體現(xiàn)現(xiàn)實(shí)意義財(cái)務(wù)困境預(yù)測(cè)是風(fēng)險(xiǎn)管理與決策領(lǐng)域的一個(gè)重要研究方向。企業(yè)的財(cái)務(wù)困境狀態(tài)既關(guān)系到企業(yè)本身的戰(zhàn)略制訂與調(diào)整,還關(guān)系到其債權(quán)人或投資方的收益。在中國(guó)資本市場(chǎng)日益發(fā)展的今天,企業(yè)財(cái)務(wù)狀況的判斷和財(cái)務(wù)困境預(yù)測(cè)的研究尤其具有重要的理論意義和現(xiàn)實(shí)意義。利用各上市公司的財(cái)務(wù)報(bào)表數(shù)據(jù),應(yīng)用科學(xué)的預(yù)測(cè)與決策方法對(duì)各變量進(jìn)行分析來(lái)預(yù)測(cè)上市公司財(cái)務(wù)困境,以便揭示風(fēng)險(xiǎn)并及時(shí)采取有效的防范、化解風(fēng)險(xiǎn)的措施,已成為上市公司管理當(dāng)局、投資者、債權(quán)人等利益相關(guān)者共同關(guān)注的問(wèn)題。SUN等構(gòu)建了基于滾動(dòng)時(shí)間窗口支持向量機(jī)處理概念漂移的財(cái)務(wù)困境預(yù)測(cè)動(dòng)態(tài)建?？蚣?對(duì)基于樣例選擇的財(cái)務(wù)困境概念漂移處理方法展開(kāi)了詳細(xì)設(shè)計(jì),包括寬度固定的時(shí)間窗口滾動(dòng)機(jī)制、自適應(yīng)寬度的時(shí)間窗口滾動(dòng)機(jī)制以及批選擇機(jī)制,并設(shè)計(jì)了財(cái)務(wù)困境預(yù)測(cè)動(dòng)態(tài)建模方法的實(shí)證驗(yàn)證方案;SUN等還對(duì)多分類器組合財(cái)務(wù)困境預(yù)測(cè)方法展開(kāi)研究,提出了遺傳算法選擇性集成多分類器的企業(yè)財(cái)務(wù)困境預(yù)測(cè)方法,以及基于多特征子集組合分類器的企業(yè)財(cái)務(wù)困境預(yù)測(cè)方法。此外,學(xué)者們還提出了基于群決策的財(cái)務(wù)困境預(yù)測(cè)方法。2.2.3負(fù)荷預(yù)測(cè)的核心問(wèn)題電力工業(yè)是國(guó)家在能源領(lǐng)域的重大基礎(chǔ)行業(yè),是國(guó)民經(jīng)濟(jì)的命脈,對(duì)于我國(guó)經(jīng)濟(jì)建設(shè)、國(guó)家安全、社會(huì)穩(wěn)定、生活質(zhì)量具有至關(guān)重要的作用。隨著電力工業(yè)的快速發(fā)展,對(duì)電力負(fù)荷預(yù)測(cè)理論和方法的研究越來(lái)越重要,在經(jīng)濟(jì)地制定發(fā)電計(jì)劃、電力調(diào)配計(jì)劃、網(wǎng)競(jìng)價(jià)計(jì)劃、控制電網(wǎng)經(jīng)濟(jì)運(yùn)營(yíng)等方面具有直接而重大的經(jīng)濟(jì)效益和社會(huì)效益。電力負(fù)荷預(yù)測(cè)的核心問(wèn)題是預(yù)測(cè)技術(shù)方法。由于電力負(fù)荷不僅具有擬周期性,而且受到眾多不確定因素,如氣象、節(jié)假日、電價(jià)、用電模式以及人口狀況、居民收入、消費(fèi)觀念等的影響,因此,電力負(fù)荷預(yù)測(cè)問(wèn)題具有數(shù)據(jù)量龐大、種類混雜、多種不確定性并存的特點(diǎn)。同時(shí),電力負(fù)荷預(yù)測(cè)中既包括數(shù)值型數(shù)據(jù),也包含定性的描述性知識(shí)表述。以上這些特點(diǎn)使得傳統(tǒng)的數(shù)據(jù)挖掘方法難以適用于該問(wèn)題。由此,學(xué)者們研究了對(duì)于多種類型知識(shí)影響的基于協(xié)同知識(shí)挖掘的電力負(fù)荷預(yù)測(cè)的新理論方法,包括知識(shí)文本標(biāo)準(zhǔn)的制定、知識(shí)表示、知識(shí)清洗、知識(shí)集成、知識(shí)轉(zhuǎn)換、協(xié)同知識(shí)挖掘預(yù)處理、自動(dòng)提取具有高度相似性綜合知識(shí)特征的同類歷史數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測(cè)模型的自組織和優(yōu)化、經(jīng)驗(yàn)推理干預(yù)等。比如,對(duì)日負(fù)荷有影響的各類知識(shí)文本的標(biāo)準(zhǔn)、結(jié)構(gòu)和規(guī)范化進(jìn)行描述分析,利用時(shí)間序列預(yù)測(cè)技術(shù)ARMA(1,1)對(duì)數(shù)據(jù)中的負(fù)荷進(jìn)行線性因素的擬合建模和校正,得到糾偏的神經(jīng)網(wǎng)絡(luò)模型。對(duì)于中長(zhǎng)期電力負(fù)荷預(yù)測(cè),NIU等選取單一算法模型,并建立協(xié)同粒子群算法自適應(yīng)權(quán)重的中長(zhǎng)期組合負(fù)荷預(yù)測(cè)模型。3國(guó)內(nèi)學(xué)者在國(guó)際專四通道研究領(lǐng)域,其學(xué)術(shù)基礎(chǔ)研究仍在其通過(guò)總結(jié)近幾年來(lái)管理科學(xué)部對(duì)數(shù)據(jù)挖掘及其在管理中應(yīng)用的資助研究進(jìn)展可知:①數(shù)據(jù)是管理決策的基礎(chǔ),數(shù)據(jù)挖掘作為分析數(shù)據(jù)的有效工具將越來(lái)越被管理科學(xué)界重視?？梢灶A(yù)見(jiàn),在未來(lái)較長(zhǎng)的一段時(shí)間內(nèi),此領(lǐng)域