數(shù)據(jù)挖掘在金融行業(yè)中的運(yùn)用

數(shù)據(jù)挖掘在金融行業(yè)中的運(yùn)用2013年06 月20日金融部門每天的業(yè)務(wù)都會(huì)產(chǎn)生大量數(shù)據(jù)，利用目前的數(shù)據(jù)庫(kù)系統(tǒng)可以有效地實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計(jì)等功能，但無(wú)法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無(wú)法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)。缺乏挖掘數(shù)據(jù)背后隱藏的知識(shí)的手段，導(dǎo)致了數(shù)據(jù)爆炸但知識(shí)貧乏“的現(xiàn)象。與此同時(shí)，金融機(jī)構(gòu)的運(yùn)作必然存在金融風(fēng)險(xiǎn)，風(fēng)險(xiǎn)管理是每一個(gè)金融機(jī)構(gòu)的重要工作。利用數(shù)據(jù)挖掘技術(shù)不但可以從這海量的數(shù)據(jù)中發(fā)現(xiàn)隱藏在其后的規(guī)律，而且可以很好地降低金融機(jī)構(gòu)存在的風(fēng)險(xiǎn)。學(xué)習(xí)和應(yīng)用數(shù)據(jù)挖掘技術(shù)對(duì)我國(guó)的金融機(jī)構(gòu)有重要意義。一.數(shù)據(jù)挖掘概述1.數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘(datamining)是采用統(tǒng)計(jì)、數(shù)學(xué)、人工智能和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的科學(xué)方法，如記憶推理、聚類分析、關(guān)聯(lián)分析、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、基因算法等技術(shù)，從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對(duì)決策有潛在價(jià)值的關(guān)系、模式和趨勢(shì)，并用這些知識(shí)和規(guī)則建立用于決策支持的模型，提供預(yù)測(cè)性決策支持的方法、工具和過(guò)程。數(shù)據(jù)挖掘技術(shù)是統(tǒng)計(jì)技術(shù)、計(jì)算機(jī)技術(shù)和人工智能技術(shù)等構(gòu)成的一種新學(xué)科。數(shù)據(jù)挖掘來(lái)源于統(tǒng)計(jì)分析，是統(tǒng)計(jì)分析方法的擴(kuò)展和延伸。大多數(shù)的統(tǒng)計(jì)分析技術(shù)都基于完善的數(shù)學(xué)理論和高超的技巧，其預(yù)測(cè)的準(zhǔn)確程度還是令人滿意的，但對(duì)于使用者的知識(shí)要求比較高。而隨著計(jì)算機(jī)能力的不斷發(fā)展，數(shù)據(jù)挖掘可以利用相對(duì)簡(jiǎn)單和固定程序完成同樣的功能。新的計(jì)算算法的產(chǎn)生如神經(jīng)網(wǎng)絡(luò)、決策樹(shù)使人們不需了解到其內(nèi)部復(fù)雜的原理也可以通過(guò)這些方法獲得良好的分析和預(yù)測(cè)效果。2.數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘技術(shù)是數(shù)據(jù)庫(kù)技術(shù)、統(tǒng)計(jì)技術(shù)和人工智能技術(shù)發(fā)展的產(chǎn)物。從使用的技術(shù)角度，主要的數(shù)據(jù)挖掘方法包括：（1）決策樹(shù)方法：利用樹(shù)形結(jié)構(gòu)來(lái)表示決策集合，這些決策集合通過(guò)對(duì)數(shù)據(jù)集的分類產(chǎn)生規(guī)則。國(guó)際上最有影響和最早的決策樹(shù)方法是ID3方法，后來(lái)又發(fā)展了其它的決策樹(shù)方法。（2）規(guī)則歸納方法：通過(guò)統(tǒng)計(jì)方法歸納，提取有價(jià)值的if-then規(guī)則。規(guī)則歸納技術(shù)在數(shù)據(jù)挖掘中被廣泛使用，其中以關(guān)聯(lián)規(guī)則挖掘的研究開(kāi)展得較為積極和深入。（3）神經(jīng)網(wǎng)絡(luò)方法：從結(jié)構(gòu)上模擬生物神經(jīng)網(wǎng)絡(luò)，以模型和學(xué)習(xí)規(guī)則為基礎(chǔ)，建立3種神經(jīng)網(wǎng)絡(luò)模型：前饋式網(wǎng)絡(luò)、反饋式網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)。這種方法通過(guò)訓(xùn)練來(lái)學(xué)習(xí)的非線性預(yù)測(cè)模型，可以完成分類、聚類和特征挖掘等多種數(shù)據(jù)挖掘任務(wù)。（4）遺傳算法：模擬生物進(jìn)化過(guò)程的算法，由繁殖(選擇)、交叉(重組)、變異(突變)三個(gè)基本算子組成。為了應(yīng)用遺傳算法，需要將數(shù)據(jù)挖掘任務(wù)表達(dá)為一種搜索問(wèn)題，從而發(fā)揮遺傳算法的優(yōu)化搜索能力。（5）粗糙集(RoughSet)方法：Rough集理論是由波蘭數(shù)學(xué)家Pawlak在八十年代初提出的一種處理模糊和不精確性問(wèn)題的新型數(shù)學(xué)工具。它特別適合于數(shù)據(jù)簡(jiǎn)化，數(shù)據(jù)相關(guān)性的發(fā)現(xiàn)，發(fā)現(xiàn)數(shù)據(jù)意義，發(fā)現(xiàn)數(shù)據(jù)的相似或差別，發(fā)現(xiàn)數(shù)據(jù)模式和數(shù)據(jù)的近似分類等，近年來(lái)已被成功地應(yīng)用在數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)研究領(lǐng)域中。（6）K2最鄰近技術(shù)：這種技術(shù)通過(guò)K個(gè)最相近的歷史記錄的組合來(lái)辨別新的記錄。這種技術(shù)可以作為聚類和偏差分析等挖掘任務(wù)。（7）可視化技術(shù)：將信息模式、數(shù)據(jù)的關(guān)聯(lián)或趨勢(shì)等以直觀的圖形方式表示，決策者可以通過(guò)可視化技術(shù)交互地分析數(shù)據(jù)關(guān)系?？梢暬瘮?shù)據(jù)分析技術(shù)拓寬了傳統(tǒng)的圖表功能，使用戶對(duì)數(shù)據(jù)的剖析更清楚。3.數(shù)據(jù)挖掘功能數(shù)據(jù)挖掘綜合了各個(gè)學(xué)科技術(shù)，有很多的功能，當(dāng)前的主要功能如下：(1)分類：按照分析對(duì)象的屬性、特征，建立不同的組類來(lái)描述事物。例如：銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來(lái)區(qū)分新申請(qǐng)貸款的客戶，以采取相應(yīng)的貸款方案。(2)聚類：識(shí)別出分析對(duì)內(nèi)在的規(guī)則，按照這些規(guī)則把對(duì)象分成若干類。例如：將申請(qǐng)人分為高度風(fēng)險(xiǎn)申請(qǐng)者，中度風(fēng)險(xiǎn)申請(qǐng)者，低度風(fēng)險(xiǎn)申請(qǐng)者。(3)關(guān)聯(lián)規(guī)則：關(guān)聯(lián)是某種事物發(fā)生時(shí)其他事物會(huì)發(fā)生的這樣一種聯(lián)系。例如：每天購(gòu)買啤酒的人也有可能購(gòu)買香煙，比重有多大，可以通過(guò)關(guān)聯(lián)的支持度和可信度來(lái)描述。(4)預(yù)測(cè)：把握分析對(duì)象發(fā)展的規(guī)律，對(duì)未來(lái)的趨勢(shì)做出預(yù)見(jiàn)。例如：對(duì)未來(lái)經(jīng)濟(jì)發(fā)展的判斷。(5)偏差的檢測(cè)：對(duì)分析對(duì)象的少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因。例如：在銀行的100萬(wàn)筆交易中有500例的欺詐行為，銀行為了穩(wěn)健經(jīng)營(yíng)，就要發(fā)現(xiàn)這500例的內(nèi)在因素，減小以后經(jīng)營(yíng)的風(fēng)險(xiǎn)。二、數(shù)據(jù)挖掘技術(shù)在金融領(lǐng)域的應(yīng)用目前，在很多領(lǐng)域，數(shù)據(jù)挖掘(datamining)都是一個(gè)很時(shí)髦的詞，尤其是在如銀行、電信、保險(xiǎn)、交通、零售（如超級(jí)市場(chǎng)）等商業(yè)領(lǐng)域。數(shù)據(jù)挖掘所能解決的典型商業(yè)問(wèn)題包括：數(shù)據(jù)庫(kù)營(yíng)銷（DatabaseMarketing）、客戶群體劃分（CustomerSegmentation&Classification）、背景分析（ProfileAnalysis）、交叉銷售（Cross-selling）等市場(chǎng)分析行為，以及客戶流失性分析(ChurnAnalysis)、客戶信用記分(CreditScoring)、欺詐發(fā)現(xiàn)(FraudDetection)等等。數(shù)據(jù)挖掘技術(shù)在證券行業(yè)的應(yīng)用數(shù)據(jù)挖掘在證券行業(yè)的應(yīng)用方向主要有：客戶分析、客戶管理、財(cái)務(wù)指標(biāo)分析、交易數(shù)據(jù)分析、風(fēng)險(xiǎn)分析、投資組合分析等。從業(yè)務(wù)角度看，經(jīng)紀(jì)業(yè)務(wù)是目前國(guó)內(nèi)券商競(jìng)爭(zhēng)的焦點(diǎn)，它仍是券商利潤(rùn)的主要來(lái)源。據(jù)統(tǒng)計(jì)從事經(jīng)紀(jì)業(yè)務(wù)獲得的收入占各主要券商利潤(rùn)來(lái)源的80%以上，而中小證券公司90%的利潤(rùn)主要來(lái)自證券營(yíng)業(yè)部。從營(yíng)銷角度看，證券經(jīng)紀(jì)業(yè)務(wù)是為滿足客戶需要而提供的一種金融服務(wù)活動(dòng)，營(yíng)銷戰(zhàn)略貫穿在證券經(jīng)紀(jì)業(yè)務(wù)整個(gè)活動(dòng)過(guò)程中，分析型客戶關(guān)系管理(ＣＲＭ)是國(guó)內(nèi)券商(特別是各營(yíng)業(yè)部)尤其關(guān)注的技術(shù)，而數(shù)據(jù)挖掘技術(shù)是分析型ＣＲＭ的核心技術(shù)。營(yíng)業(yè)部是否真正了解自己的客戶，知道他們的特征、分布和習(xí)性？誰(shuí)是真正的有價(jià)值的客戶，誰(shuí)在為證券營(yíng)業(yè)部貢獻(xiàn)利潤(rùn)？誰(shuí)帶來(lái)了當(dāng)期的利潤(rùn)，誰(shuí)又有潛在的價(jià)值？傳統(tǒng)的按資金量大小來(lái)區(qū)分大、中、小、散客戶價(jià)值的方法是否真正反映了客戶對(duì)營(yíng)業(yè)利潤(rùn)的貢獻(xiàn)？凡此種種問(wèn)題可以通過(guò)客戶價(jià)值分析來(lái)解決。它不僅讓我們從投入產(chǎn)出角度去看待客戶，而且還為營(yíng)業(yè)部的經(jīng)營(yíng)方針提供了決策依據(jù)。其典型應(yīng)用包括有：(1)客戶分析：建立數(shù)據(jù)倉(cāng)庫(kù)來(lái)存放對(duì)全體客戶、預(yù)定義客戶群、某個(gè)客戶的信息和交易數(shù)據(jù)，并通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行挖掘和關(guān)聯(lián)分析，實(shí)現(xiàn)面向主題的信息抽取。對(duì)客戶的需求模式和盈利價(jià)值進(jìn)行分類，找出最有價(jià)值和盈利潛力的客戶群，以及他們最需要的服務(wù)，更好地配置資源，改進(jìn)服務(wù)，牢牢抓住最有價(jià)值的客戶。通過(guò)對(duì)客戶資源信息進(jìn)行多角度挖掘，了解客戶各項(xiàng)指標(biāo)(如資產(chǎn)貢獻(xiàn)、忠誠(chéng)度、盈利率、持倉(cāng)比率等)，掌握客戶投訴、客戶流失等信息，從而在客戶離開(kāi)券商之前，捕獲信息，及時(shí)采取措施挽留客戶。(2)咨詢服務(wù)：根據(jù)采集行情和交易數(shù)據(jù)，結(jié)合行情分析，預(yù)測(cè)未來(lái)大盤走勢(shì)，并發(fā)現(xiàn)交易情況隨著大盤變化的規(guī)律，并根據(jù)這些規(guī)律做出趨勢(shì)分析，對(duì)客戶針對(duì)性進(jìn)行咨詢。(3)風(fēng)險(xiǎn)防范：通過(guò)對(duì)資金數(shù)據(jù)的分析，可以控制營(yíng)業(yè)風(fēng)險(xiǎn)，同時(shí)可以改變公司總部原來(lái)的資金控制模式，并通過(guò)橫向比較及時(shí)了解資金情況，起到風(fēng)險(xiǎn)預(yù)警的作用。(4)經(jīng)營(yíng)狀況分析：通過(guò)數(shù)據(jù)挖掘，可以及時(shí)了解營(yíng)業(yè)狀況、資金情況、利潤(rùn)情況、客戶群分布等重要的信息，并結(jié)合大盤走勢(shì)，提供不同行情條件下的最大收益經(jīng)營(yíng)方式。同時(shí)，通過(guò)對(duì)各營(yíng)業(yè)部經(jīng)營(yíng)情況的橫向比較，以及對(duì)本營(yíng)業(yè)部歷史數(shù)據(jù)的縱向比較，對(duì)營(yíng)業(yè)部的經(jīng)營(yíng)狀況作出分析，提出經(jīng)營(yíng)建議。2.數(shù)據(jù)挖掘技術(shù)在銀行業(yè)的應(yīng)用(1)對(duì)賬戶進(jìn)行信用等級(jí)的評(píng)估：銀行業(yè)是負(fù)債經(jīng)營(yíng)的產(chǎn)業(yè)，風(fēng)險(xiǎn)與效益并存，分析賬戶的信用等級(jí)對(duì)于降低風(fēng)險(xiǎn)、增加收益是非常重要的。利用數(shù)據(jù)挖掘工具進(jìn)行信用評(píng)估的最終目的是：從已有的數(shù)據(jù)中分析得到信用評(píng)估的規(guī)則或標(biāo)準(zhǔn)，即得到“滿足什么樣條件的賬戶屬于哪一類信用等級(jí)”，并將得到的規(guī)則或評(píng)估標(biāo)準(zhǔn)應(yīng)用到對(duì)新的賬戶的信用評(píng)估，這是一個(gè)獲取知識(shí)并應(yīng)用知識(shí)的過(guò)程。(2)金融市場(chǎng)分析和預(yù)測(cè)：對(duì)龐大的數(shù)據(jù)進(jìn)行主成分分析，剔除無(wú)關(guān)的，甚至是錯(cuò)誤的、相互矛盾的數(shù)據(jù)“雜質(zhì)”，以更有效地進(jìn)行金融市場(chǎng)分析和預(yù)測(cè)。(3)分析信用卡的使用模式：通過(guò)數(shù)據(jù)挖掘，人們可以得到這樣的規(guī)則：“什么樣的人使用信用卡屬于什么樣的模式”，而且一個(gè)人在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)，其使用信用卡的習(xí)慣往往是較為固定的。因此，一方面，通過(guò)判別信用卡的使用模式，可以監(jiān)測(cè)到信用卡的惡性透支行為；另一方面，根據(jù)信用卡的使用模式，可以識(shí)別“合法”用戶。(4)發(fā)現(xiàn)隱含在數(shù)據(jù)后面的不同的財(cái)政金融指數(shù)之間的聯(lián)系。(5)探測(cè)金融政策與金融業(yè)行情的相互影響的關(guān)聯(lián)關(guān)系。3.數(shù)據(jù)挖掘技術(shù)在保險(xiǎn)業(yè)的應(yīng)用(1)保險(xiǎn)金的確定：對(duì)受險(xiǎn)人