數(shù)學(xué)實驗判別分析

數(shù)學(xué)實驗判別分析第一頁，共三十一頁，編輯于2023年，星期六§3.1判別分析

(discriminantanalysis)

某些昆蟲的性別只有通過解剖才能夠判別但雄性和雌性昆蟲在若干體表度量上有些綜合的差異。人們就根據(jù)已知雌雄的昆蟲體表度量（這些用作度量的變量亦稱為預(yù)測變量）得到一個標(biāo)準(zhǔn)，并以此標(biāo)準(zhǔn)來判別其他未知性別的昆蟲。這樣雖非100%準(zhǔn)確的判別至少大部分是對的，而且用不著殺生。此即判別分析。第二頁，共三十一頁，編輯于2023年，星期六判別分析(discriminantanalysis)

判別分析和聚類分析有何異同？判別分析和聚類分析都是分類.但判別分析是在已知對象有若干類型和一批已知樣品的觀測數(shù)據(jù)(訓(xùn)練樣本)后的基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式.在聚類分析中，人們一般事先并不知道應(yīng)該分成幾類及哪幾類，全根據(jù)數(shù)據(jù)確定?？梢韵染垲愐缘弥愋?再進(jìn)行判別.第三頁，共三十一頁，編輯于2023年，星期六判別分析例子數(shù)據(jù)disc.txt:企圖用一套打分體系來描繪企業(yè)的狀況。該體系對每個企業(yè)的一些指標(biāo)（變量）進(jìn)行評分。指標(biāo)有:企業(yè)規(guī)模（is）、服務(wù)(se)、雇員工資比例(sa)、利潤增長(prr)、市場份額(ms)、市場份額增長(msr)、流動資金比例(cp)、資金周轉(zhuǎn)速度(cs)等.另外，有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。第四頁，共三十一頁，編輯于2023年，星期六希望根據(jù)這些企業(yè)的上述變量的打分及其已知的類別(三個類別之一：group-1代表上升，group-2代表穩(wěn)定，group-3代表下降)找出一個分類標(biāo)準(zhǔn)，以對尚未被分類的企業(yè)進(jìn)行分類。該數(shù)據(jù)有90個企業(yè)（90個觀測值），其中30個屬于上升型，30個屬于穩(wěn)定型，30個屬于下降型。這個數(shù)據(jù)就是一個“訓(xùn)練樣本”。判別分析例子第五頁，共三十一頁，編輯于2023年，星期六Disc.sav數(shù)據(jù)

第六頁，共三十一頁，編輯于2023年，星期六1.根據(jù)距離判別的思想Disc.txt數(shù)據(jù)有8個用來建立判別標(biāo)準(zhǔn)(或判別函數(shù))的(預(yù)測)變量,另一個(group)是類別每一個企業(yè)的打分在這8個變量所構(gòu)成的8維空間中是一個點。這個數(shù)據(jù)在8維空間有90個點，由于已知所有點的類別，可以求得每個類型的中心。這樣只要定義了距離，就可以得到任何給定的點（企業(yè)）到這三個中心的三個距離。第七頁，共三十一頁，編輯于2023年，星期六最簡單的辦法就是:某點離哪個中心距離最近，就屬于哪一類。一個常用距離是Mahalanobis距離。用來比較到各個中心距離的數(shù)學(xué)函數(shù)稱為判別函數(shù)(discriminantfunction).這種根據(jù)遠(yuǎn)近判別的思想，原理簡單，直觀易懂。為判別分析的基礎(chǔ)1.根據(jù)距離判別的思想第八頁，共三十一頁，編輯于2023年，星期六距離判別法假設(shè)有兩個總體G1和G2,如果能夠定義點x到它們的距離D(x,G1)和D(x,G2),則如果D(x,G1)<D(x,G2)則x∈G1如果D(x,G2)<D(x,G1)則x∈G2如果D(x,G1)=D(x,G2)則待判1.根據(jù)距離判別的思想第九頁，共三十一頁，編輯于2023年，星期六Mahalanobis距離假設(shè)m(1),m(2),S(1),S(2)分別為G1和G2的均值向量和協(xié)差陣,則點x到Gi的馬氏距離定義為

D2(x,Gi)=(x-m(i))’(S(i))-1(x-m(i))

其他一些距離為馬氏距離的特殊情況,因此我們著重討論馬氏距離.馬氏距離的好處是可以克服變量之間的相關(guān)性干擾,并且消除各變量量綱的影響.第十頁，共三十一頁，編輯于2023年，星期六線性判別函數(shù):當(dāng)S(1)=S(2)=S時記如果W(x)>0即D(x,G1)<D(x,G2)則x∈G1如果W(x)<0即D(x,G1)>D(x,G2)則x∈G2如果W(x)=0即D(x,G1)=D(x,G2)則待判第十一頁，共三十一頁，編輯于2023年，星期六當(dāng)m(1),m(2),S已知時,令a=S-1(m(1)-m(2))≡(a1,…,ap)’,則顯然W(x)為x1,…,xp的線性函數(shù),稱為線性判別函數(shù);a稱為判別系數(shù).第十二頁，共三十一頁，編輯于2023年，星期六當(dāng)m(1),m(2),S未知時,可通過樣本來估計:判別函數(shù)為為來自Gi的樣本為(i=1,2)第十三頁，共三十一頁，編輯于2023年，星期六非線性判別函數(shù):當(dāng)S(1)≠S(2)時這是x的一個二次函數(shù),按照距離最近原則,判別準(zhǔn)則仍然為如果W(x)>0即D(x,G1)<D(x,G2)則x∈G1如果W(x)<0即D(x,G1)>D(x,G2)則x∈G2如果W(x)=0即D(x,G1)=D(x,G2)則待判第十四頁，共三十一頁，編輯于2023年，星期六多總體時的線性判別函數(shù):當(dāng)S(1)=…=S(k)=S時記相應(yīng)的準(zhǔn)則為:如果對一切j≠i,Wij(x)<0,則x∈Gi如果有某一個Wij(x)=0,則待判第十五頁，共三十一頁，編輯于2023年，星期六非線性判別函數(shù):當(dāng)S(1),…,S(k)不等時相應(yīng)的準(zhǔn)則為:如果對一切j≠i,Wij(x)>0,則x∈Gi如果有某一個Wij(x)=0,則待判.當(dāng)m(i),S(i)

未知時,可通過樣本來估計第十六頁，共三十一頁，編輯于2023年，星期六2.Fisher判別法(先進(jìn)行投影)Fisher判別法是一種先投影的方法?？紤]只有兩個(預(yù)測)變量的判別問題。假定只有兩類。數(shù)據(jù)中的每個觀測值是二維空間的一個點。見下頁圖。這里只有兩種已知類型的訓(xùn)練樣本。一類有38個點(用“o”表示),另一類有44個點(用“*”表示)。按原來變量(橫坐標(biāo)和縱坐標(biāo))，很難將這兩種點分開。第十七頁，共三十一頁，編輯于2023年，星期六-4-20246-4-3-2-10123第十八頁，共三十一頁，編輯于2023年，星期六于是就尋找一個方向，下頁圖上的虛線方向，沿該方向朝和這個虛線垂直的一條直線進(jìn)行投影會使得這兩類分得最清楚?？梢钥闯觯绻蚱渌较蛲队?，判別效果不會比這個好。有了投影之后，再用前面講到的距離遠(yuǎn)近的方法得到判別準(zhǔn)則。這種先投影的判別方法就是Fisher判別法。

2.Fisher判別法(先進(jìn)行投影)第十九頁，共三十一頁，編輯于2023年，星期六Fisher判別法的數(shù)學(xué)第二十頁，共三十一頁，編輯于2023年，星期六練習(xí)：中小企業(yè)的破產(chǎn)問題研究為了研究中小企業(yè)的破產(chǎn)模型，選定4個經(jīng)濟(jì)指標(biāo)：

X1總負(fù)債率（現(xiàn)金收益/總負(fù)債）

X2收益性指標(biāo)（純收入/總財產(chǎn)）

X3短期支付能力（流動資產(chǎn)/流動負(fù)債）

X4生產(chǎn)效率性指標(biāo)（流動資產(chǎn)/純銷售額）對17個破產(chǎn)企業(yè)（1類）和21個正常運行企業(yè)（2類）進(jìn)行了調(diào)查，得如下資料：第二十一頁，共三十一頁，編輯于2023年，星期六總負(fù)債率收益性指標(biāo)短期支付能力生產(chǎn)效率指標(biāo)類別-.45-.411.09.451-.56-.311.51.161.06.021.01.401-.07-.091.45.261-.10-.091.56.671-.14-.07.71.281-.23-.30.22.181.07.021.31.251.01.002.15.701-.28-.231.19.661.15.051.88.271.37.111.99.381-.08-.081.51.421.05.031.68.951.01.001.26.601.12.111.14.171-.28-.271.27.511.51.102.49.542.08.022.01.532第二十二頁，共三十一頁，編輯于2023年，星期六.38.113.27.552.19.052.25.332.32.074.24.632.31.054.45.692.12.052.52.692-.02.022.05.352.22.082.35.402.17.071.80.522.15.052.17.552-.10-1.012.50.582.14-.03.46.262.14.072.61.522-.33-.093.01.472.48.091.24.182.56.114.29.452.20.081.99.302.47.142.92.452.17.042.45.142.58.045.06.132.04.011.50.71待判-.06-.061.37.40待判第二十三頁，共三十一頁，編輯于2023年，星期六§3.2判別分析要注意的問題訓(xùn)練樣本中必須包含所有要判別的類型，分類必須清楚，不能有混雜。

要選擇好可能用于判別的預(yù)測變量。這是最重要的。當(dāng)然，在應(yīng)用中，選擇余地不見得有多大。

判別分析是為了正確地分類，但同時也要注意對未知樣本的判定不一定總會得到正確的結(jié)果。所以我們需要對錯判率進(jìn)行進(jìn)一步的思考和研究。第二十四頁，共三十一頁，編輯于2023年，星期六判別分析的Matlab命令：calssify第二十五頁，共三十一頁，編輯于2023年，星期六附錄第二十六頁，共三十一頁，編輯于2023年，星期六費歇(Fisher)判別法并未要求總體分布類型工作原理就是對原數(shù)據(jù)系統(tǒng)進(jìn)行坐標(biāo)變換,尋求能夠?qū)⒖傮w盡可能分開的方向.點x在以a為法方向的投影為a’x各組數(shù)據(jù)的投影為

第二十七頁，共三十一頁，編輯于2023年，星期六將Gm組中數(shù)據(jù)投影的均值記為有記k組數(shù)據(jù)投影的總均值為有第二十八頁，共三十一頁，編輯于2023年，星期六組間離差平方和為:這里組內(nèi)離差平方和為:這里第二十九頁，共三十一頁，編輯于2023年，星期六希望尋找a使得SSG盡可能大而SSE盡可能小,即記方程|B