金融數(shù)據(jù)挖掘課件

金融市場的數(shù)據(jù)挖掘教材：數(shù)據(jù)采掘入門與應(yīng)用張堯庭編中國統(tǒng)計出版社參考教材：

1、數(shù)據(jù)挖掘——概念與技術(shù)

jiaweiHan著，范明譯機械工業(yè)出版社

2、多元統(tǒng)計數(shù)據(jù)分析——理論、方法、實例任若恩著國防工業(yè)出版社配套應(yīng)用軟件：

1、Intelligentminerfordata2、SAS

第一章：概論

一、何為數(shù)據(jù)挖掘（datamining）現(xiàn)代信息社會的特征：信息（數(shù)據(jù)）泛濫、知識缺乏，如何從海量數(shù)據(jù)（廣義的概念）中挖掘出決策有用信息？

數(shù)據(jù)挖掘是結(jié)合現(xiàn)代數(shù)學(xué)、統(tǒng)計學(xué)，機器學(xué)習(xí)、人工智能、數(shù)據(jù)庫管理、計算機圖形學(xué)、軟件工程等各領(lǐng)域的技術(shù)和知識，1990年代在西方國家出現(xiàn)的一種高新技術(shù)——從海量數(shù)據(jù)中挖掘出決策有用信息的技術(shù)。

1990年代末，在對100名美國著名科學(xué)家的問卷調(diào)查中，數(shù)據(jù)挖掘被列為21世紀對人類發(fā)展影響最大、最有前途的10大技術(shù)的第三位。

我國對數(shù)據(jù)挖掘技術(shù)的重視（開發(fā)與應(yīng)用）

1、863、963項目；

2、國家及省重點科學(xué)領(lǐng)域；

3、國家統(tǒng)計局在全國組織數(shù)據(jù)挖掘培訓(xùn)（2000）；

4、企業(yè)特別是銀行對數(shù)據(jù)挖掘技術(shù)的重視；

5、人民大學(xué)數(shù)據(jù)挖掘研究與應(yīng)用中心。

海量數(shù)據(jù)——沙漠，隱含的知識——金子，數(shù)據(jù)挖掘——從沙漠中挖掘金子的技術(shù)。

二、不同學(xué)科對數(shù)據(jù)挖掘技術(shù)的研究與開發(fā)

1、理論研究——各種數(shù)據(jù)挖掘技術(shù)的理論基礎(chǔ)、理論依據(jù)研究，從數(shù)學(xué)、統(tǒng)計學(xué)、人工智能、計算機圖形學(xué)等不同領(lǐng)域；

2、挖掘技術(shù)研究，從統(tǒng)計學(xué)、人工智能、機器學(xué)習(xí)、計算機圖形學(xué)、軟件工程等領(lǐng)域；3、數(shù)據(jù)管理策略研究，從數(shù)據(jù)庫管理技術(shù)等領(lǐng)域；

4、數(shù)據(jù)挖掘技術(shù)的應(yīng)用研究，其中數(shù)據(jù)挖掘技術(shù)在金融領(lǐng)域的應(yīng)用是一個重要方面。三、幾種相對比較成熟的數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘是一門新興的、正在不斷發(fā)展中的技術(shù)，近年來，幾類十分重要、且相對比較成熟的數(shù)據(jù)挖掘技術(shù)是：

1、分類與預(yù)測

2、特征化、比較與關(guān)聯(lián)規(guī)則挖掘

3、聚類分析

4、序列發(fā)現(xiàn)

本課程主要內(nèi)容：幾類數(shù)據(jù)挖掘技術(shù)的基本原理、數(shù)據(jù)挖掘方法、及這些挖掘技術(shù)在金融領(lǐng)域的應(yīng)用。

2、預(yù)測

預(yù)測是指對連續(xù)性變量的取值進行預(yù)測，如：*某個借款人的違約概率是多少

*銀行資產(chǎn)組合明天在99%置信度下的最大損失（VaR）有多大

*如果某開放式基金因面臨巨額贖回申請而不得不大量拋售某種證券，這種證券的價格會下跌多少分類——對離散型變量進行預(yù)測預(yù)測——對連續(xù)型變量進行預(yù)測

二、分類案例教學(xué)——

上市公司財務(wù)困境預(yù)測模型構(gòu)建

1、要求：

將因財務(wù)狀況異常而被特別處理的ST公司界定為財務(wù)困境公司、非ST公司界定為財務(wù)正常公司，利用上市公司的財務(wù)報表數(shù)據(jù)，建立上市公司財務(wù)困境預(yù)測模型（提前一年預(yù)測，即用第t-2年的數(shù)據(jù)預(yù)測企業(yè)在第t年是否會陷入財務(wù)困境）。分類變量y的取值y=0如果公司為財務(wù)困境公司y=1如果公司為財務(wù)正常公司

5、研究所需數(shù)據(jù)

①、預(yù)測變量選取——實踐經(jīng)驗、其他文獻使用的預(yù)測變量、采用技術(shù)手段（統(tǒng)計技術(shù)、數(shù)據(jù)挖掘技術(shù)）選取預(yù)測變量、在一定理論指導(dǎo)下構(gòu)造新的預(yù)測變量；②、樣本數(shù)據(jù)的結(jié)構(gòu)形式

③、采集樣本數(shù)據(jù)時應(yīng)注意的問題

*盡量采用跨年度數(shù)據(jù)*需要刪除的數(shù)據(jù)

*盡量不采用配對抽樣

④、隨機構(gòu)造的訓(xùn)練樣本組與檢驗樣本組（過度擬合現(xiàn)象）

⑤、本案例的數(shù)據(jù)說明（sj0）：

*1995年底前上市的公司；*刪除其他原因被特別處理的公司；*數(shù)據(jù)跨期1996-2001，分別預(yù)測1998-2003；*刪除在預(yù)測年度已陷入財務(wù)困境的公司；*共有非ST公司數(shù)據(jù)1008個，ST公司數(shù)據(jù)111個；*采用的6個預(yù)測變量為（第一種方法）：

總負債/總資產(chǎn)、主營業(yè)務(wù)收入/總資產(chǎn)、總利潤/總資產(chǎn)、（貨幣資金+短期投資凈額）/流動資產(chǎn)、留存盈余/總資產(chǎn)、總資產(chǎn)的自然對數(shù)。

⑥、隨機抽樣構(gòu)造訓(xùn)練樣本組、檢驗樣本組的SAS方法：*將EXCEL數(shù)據(jù)庫轉(zhuǎn)為SAS數(shù)據(jù)庫；

*

SAS隨機數(shù)函數(shù)——uniform（seed），隨機種子數(shù)seed取奇數(shù)，產(chǎn)生[0，1]區(qū)間上的一個隨機數(shù)*隨機建立訓(xùn)練樣本組、檢驗樣本組的SAS程序#dataa；setsasuser.sj0;k=uniform(15);run;#對已進行k排序的數(shù)據(jù)庫adatab;seta;m=int(_n_/2);run;（sj1，sj2）二、構(gòu)造分類預(yù)測模型的方法1、判別分析法

①、判別分析方法的統(tǒng)計學(xué)原理假設(shè)有兩個總體——財務(wù)困境公司與財務(wù)正常公司，每個總體都可以用一個六維隨機變量表示，不同的總體分布不同。預(yù)測上市公司是否會陷入財務(wù)困境，就是判斷這個公司所對應(yīng)的樣本屬于哪個總體。判別分析是利用距離（相似程度的體現(xiàn)）來判斷樣本的歸屬。較常用的距離度量是馬氏距離：，判別分析實際上是利用距離差：為判斷指標來判斷樣本的歸屬。由于馬氏距離為一個二次型，因此當(dāng)時，距離差也會一個二次型，這樣在計算時較復(fù)雜，如果，且兩個總體均服從正態(tài)分布，則距離差為一個線性函數(shù)（線性判別函數(shù)），可利用這個線性函數(shù)建立預(yù)測規(guī)則。

②、判別分析的SAS程序：procdiscrimdata=sasuser.sj1;classy;run;③、SAS結(jié)果

對兩個距離的說明?，F(xiàn)在可以得到線行判別函數(shù)為：

⑦、討論

*判別分析只能運用于離散型因變量預(yù)測，而不能運用于連續(xù)型因變量預(yù)測；*建立線性判別準則，需要較強的限制條件——正態(tài)分布與等協(xié)方差矩陣；*臨界值的確定需考慮不同誤判的損失函數(shù)，考慮使用者的風(fēng)險偏好；*使用判別分析方法，需要事先確定預(yù)測變量。*也可以建立另外形式的預(yù)測規(guī)則。

練習(xí)：交換sj1與sj2的地位，建立預(yù)測規(guī)則，并進行預(yù)測準確率檢驗?；蚪⑵渌麊栴}的判別分析預(yù)測模型。

2、Logistic回歸預(yù)測

①、統(tǒng)計學(xué)原理計量經(jīng)濟學(xué)中，回歸模型具有預(yù)測功能，但現(xiàn)在的數(shù)據(jù)結(jié)構(gòu)為：，因變量為離散變量（虛擬變量），一般的線性回歸模型不適用。

Logistic回歸模型實際上是概率預(yù)測模型，其原理如下：

建立如下形式的線性模型：

則得到概率預(yù)測模型

⑤、預(yù)測準確率檢驗訓(xùn)練樣本組檢驗樣本組ST公司46/56=82.1%44/55=80%非ST公司433/504=85.9%425/504=84.3%⑥、討論*模型可用于分類預(yù)測，也可用于概率預(yù)測（如違約率預(yù)測）；*構(gòu)建模型時應(yīng)該避免非隨機抽樣，否則模型參數(shù)估計會產(chǎn)生偏差，特別是在構(gòu)建概率預(yù)測模型時；*如果需要采用分層抽樣方法，則對參數(shù)估計方法應(yīng)進行調(diào)整；*事先確定預(yù)測變量，否則的話，可以采用逐步回歸法。

⑦、逐步回歸方法與預(yù)測變量選取預(yù)測變量選取是建立分類預(yù)測模型的關(guān)鍵步驟。經(jīng)常的情況是，知道預(yù)測變量的大致范圍，但不知哪些變量具有較大的信息含量。利用逐步回歸方法，可以在這個范圍內(nèi)挑選出較佳的構(gòu)建Logistic回歸模型的預(yù)測變量組?，F(xiàn)在，另外選取了15個可能有用的預(yù)測指標y1-y15，對1119家上市公司利用逐步回歸法建立預(yù)測模型。

⑧、逐步回歸的SAS程序

proclogisticdescendingdata=sasuser.sj00;modely=y1-y15/selection=stepwise;run;

⑨、SAS結(jié)果構(gòu)建Logistic回歸模型的變量為：y3、y4、y5、y6、y10、y11、y12、y13、y14；

⑩、預(yù)測規(guī)則與預(yù)測準確率預(yù)測規(guī)則：P＞0.09,一年后上市公司將陷入財務(wù)困境;P＜0.09,一年后上市公司不會陷入財務(wù)困境。預(yù)測準確率ST公司：92/111=82.9%;非ST公司：864/1008=85.71%.

3、Probir回歸預(yù)測

數(shù)據(jù)結(jié)構(gòu)為：，因變量為離散變量（虛擬變量），一般的線性回歸模型不適用。

Probit建立如下形式的回歸模型：

Probit回歸同樣通過最大似然估計來估計模型參數(shù)。

Probit回歸的SAS程序

procprobitdata=sasuser.sj1;classy;(注意Logistic程序中沒有這一項)modely=x1-x6;run;經(jīng)計算得到:

預(yù)測規(guī)則:

P>0.1一年后上市公司將陷入財務(wù)困境，或者就不會陷入財務(wù)困境。預(yù)測準確率：訓(xùn)練樣本組檢驗樣本組

St公司：46/56=82.146/55=83.6

非St公司：428/504=84.9419/504=83.1

4、決策樹方法與前面討論的幾種分類預(yù)測方法相比，決策樹方法是一種近年來才出現(xiàn)的分類預(yù)測方法，其基本原理如下。①、熵與信息