貝葉斯決策理論的Matlab實現(xiàn)

1、結(jié)果:» m2_2正常狀態(tài)0,81818異常狀態(tài)181S2正常狀態(tài)第二章1、簡述基于最小錯誤率的貝葉斯決策理論；并分析在“大數(shù)據(jù)時代”，使用貝葉斯決策理論需要解決哪些問題，貝葉斯決策理論有哪些優(yōu)缺點，貝葉斯決策理論適用條件和范圍是什么？舉例說明風險最小貝葉斯 決策理論的意義。答：在大數(shù)據(jù)時代，我們可以獲得很多的樣本數(shù)據(jù)，并且是已經(jīng)標記好的；要使用貝葉斯決策理論最重 要的是確定類條件概率密度函數(shù)和相關(guān)的參數(shù)。優(yōu)缺點：貝葉斯決策的優(yōu)點是思路比較簡單，大數(shù)據(jù)的前提下我們可以得到較準確的先驗概率，因此如果確定了類條件概率密度函數(shù)，我們便可以很快的知道如何分類，但是在大數(shù)據(jù)的前提下， 類條件概

2、率密度函數(shù)的確定不是這么簡單，因為參數(shù)可能會增多，有時候計算量也是很大的。適用條件和范圍：(1) 樣本(子樣)的數(shù)量(容量)不充分大，因而大子樣統(tǒng)計理論不適宜的場合。(2) 試驗具有繼承性，反映在統(tǒng)計學(xué)上就是要具有在試驗之前已有先驗信息的場合。用這種方法進 行分類時要求兩點：第一，要決策分類的參考總體的類別數(shù)是一定的。例如兩類參考總體(正常狀態(tài)DI和異常狀態(tài)D2)，或L類參考總體D1，D2，,， DL(如良好、滿意、可以、不滿意、不允許、”)。第二，各類參考總體的概率分布是已知的，即每一類參考總體出現(xiàn)的先驗概率P(Di)以及各類概率密度函數(shù) P(x/Di)是已知的。顯然，OW P(Di) &l

3、t; 1, (i=l , 2, , , L)，刀 P(Di)=1。說明風險最小貝葉斯決策理論的意義：那股票舉例，現(xiàn)在有A、B兩個股票，根據(jù)市場行情結(jié)合最小錯誤率的風險選擇A股(假設(shè)為0.55),而B股(0.45);但是選著A股必須承擔著等級為 7的風險，B股風險等級僅為4;這時因遵循最 小風險的貝葉斯決策，畢竟如果A股投資的失敗帶來的經(jīng)濟損失可能獲得收益還大。2、教材中例2.1-2.2的Matlab實現(xiàn).2.1：p_l=0. 9;p_w2=0. 1:p_x_wl=0. 2:p_x_w2=0. 4：p_x=p_w 1 *p1+p_w2*p_x_w2: P_wpl_x=) / Pr 盂：P-宵2-

4、孟二口_£-硏2故p. *2/ p X；di£p(L'正帛我態(tài)',num2str (p_wl_x); disp(L 異帛:!犬態(tài)'num2£tr (p_ur2_x);if p_w1_x>p_w2_xdisp(r 正常狀態(tài) p_wi_xi)；elsedisp(T 異常狀態(tài)',s_wl_x)；endp_wl二0 9;P_w2=0. 1;P_xl=O 2;p_x_w2=0. 4;p_x=p_w1*p_x_w1+p_w2*p_x_w2; p_wl_x=(p_x_wl*p_wl)/ p_x; p2_x=p_x_w2*p_w2 / p_x

5、;all=Oal2=6a21=l a22=0R_al_x二alI*p_wl_x+al2*p_w2_x;R_a2_x=a21*pl_x+a22*p_w2_x; disp (L"正常狀態(tài)',num2str (R_al_x); disp(異常狀態(tài)，,num2str (R_a2_x);if R_al_x>R_a2_xdisp(，正常狀態(tài)',R_al_xl); elsedisp('異常狀態(tài)R_a2_x);end» m2_2_2正常狀態(tài)1. 0909異常狀態(tài)0. 81818正常狀態(tài)3、利用Matlab提供的正態(tài)分布函數(shù)，產(chǎn)生d(=1 , 2, 3)維的隨機

6、數(shù)據(jù)(可考慮類別數(shù)目為 2，各類的先驗概率自定或隨機產(chǎn)生，類條件概率由正態(tài)分布密度函數(shù)確定)，編寫Matlab代碼實現(xiàn)最小錯誤率的貝葉斯決尺S朿。根據(jù)所給的1維代碼可推出2維情況：pll = mvnpdf (xl, mul,Sigmal);P12p21p22 = mvnpdf(x2, muZ,Sigma2):mvnpdf (xl, mu2, Sigma2);invripdf (x2> mul, Sigmal);for k=l;Nppi (k) = pll(k)*Pl：PP2(k)= P12(k)*P2； if ppi (k)>pp2(k)test_Labell(k) = 1;end

7、end"for k=l:Nppi W- p21 (k)*Pl ;pp2(k)= p22 (k)*P2;if ppi(k)<pp2(k)test Label2(k) = 2;endAcc = (length (find (test Label 1=1) ) length (find (test_La.be 12=2) ) ) / (2*N); disp ( The accuracy is： num2str(Acc)l);運行結(jié)果：The accuracy is: 0. 94同理，將三維參數(shù)自定義為：mul = 1 -1 叮；Sigmal=E0. 9 0 0; 0 . 4 0;0

8、0 . 3; xl 二 mvnrnd t'mul； Sigmal, N):mu2 二2 -2 2： Sigma2 二 Sigmal; x2 -mvnrnd(mu2? Sigma2, X):運行結(jié)果為：The accuracy is: 0, 974、從最小錯誤率貝葉斯決策規(guī)則出發(fā)，討論在類條件密度服從正態(tài)分布時，推導(dǎo)出不同情況下的判別函數(shù)表達式。2V根?礙上 >申的鳳觀/今幷糾場禺也涸弓労:.勢-鈉也和八N二0訂淪“亠工 "乂皺播1% P3、鳥“朗祐氟 叩IS | - <s»d , 記卜 1絆歸艮去網(wǎng)佗侖治：Pf 丄n-女爲%旳門人險）i i t4 P血）

9、二玖剛）時加昆 細島妬皿鄉(xiāng)磁©二-曇十茁必”必P3）4 %二鐘肽&毛応戈劉釧岳根司拘仏和1J滬2 土其-廠曠（"必）#上卩皿）老!瓚相N 彈燈二士 "-從廠疔匚如）勺-匕）二亠如Z1（龍亠址A土厶【引才上斤心）5、補充的實驗驗證題：分別用最小距離分類器(書P.32,圖2-8)和馬氏距離分類器(書 P.32式2-82)對下列數(shù)據(jù)(Fisher's Iris Data)進行分析，對比兩種分類器的識別率有什么不同，并分析原因。關(guān)于 Fisher's Iris Data: Fisher's iris data consists of mea

10、surements on the sepal length, sepal width, petal length, and petal width of 150 iris specime ns. There are 50 specime ns from each of three species.在Matlab中調(diào)用load fisheriris可以得到該數(shù)據(jù)， meas為150 x 4的數(shù)據(jù)矩陣，species為150x 1的cell 矩陣，含有類別信息。程序為：clear al1;clc;%load fisheriris;%This kind of flower consists of 4

11、 different element;seT=meas (1: 50,:);ver=meas (51: 100,:);vir=meas(101:150):);mul=mean (set);mu2=mean(ver ;mu3=mean (vir);%The tninimiin distance classifiterk=l:-J for k=l :Nal=set (kj l)-mul (1);a2=set (k, 2) -mul (2):a3=set(k, 3) -mul (3);a4=set (k, 4 1 -mul (4);bl = set (kj 1)-mu2(1):b2=set (k,

12、2) -mu2 (2):b3=set (kj 3) -mu2 (3);b4=set (kj 4) -mu2 (4);c l=set (kj 1) -mu3 (1);c2=set (kj 2)-mu3 (2);c3=set (kj 3) -mu3 (3);c4=set (kj 4)-10113(4);BDll(k) = (al-'2) + (a2 " 2) + (a3 " 2) + (a4 * 2);wj12 (k)=(br2) + (b2"2)+(b3"2) + (b4"2);ppl3 (k) = (J“2) + 3"2) +

13、 (c4“2):if ppll(k)<ppl2(k) && ppi1 (k)<ppl3(k) test_Labell(k)=l;elsetest_Labell (k) =0;endendfor k=l:Nal=ver(k, l)-mul(l) a2=ver(k, 2)-mul(2) a3=ver(k, 3)-mul(3) a4=ver(k, 4)-mul(4) bl=ver (k, 1) -mu2 (1) b2=ver(k, 2)-mu2(2) b3=ver(k, 3)-mu2(3) b4=ver(k, 4)-mu2(4) cl=ver(k, 1)-mu3(1) c

14、2=ver(k, 2)-mu3(2) c3=ver(k, 3)-mu3(3) c4=ver(k, 4)一mu3(4)pp21 (k) = (a2) + (a2"2) + (a3"2) + (a4 2) pp22 (k)二(b2) + (b2 J) + (b3"2) + (b4"2) pp23(k) = (cl 2) + (c2 2) + (c3 2) + (c4 2) if pp22(k)<pp21(k) && pp22(k)<pp23(k) testLabel2 (k)=2;elset.es.t_Label2 (k) =0;

15、end-end3for k=l:Nal=vir(k, 1)-mul (1);a2=vir(k, 2)-mul(2);a3=vir(k, 3)-mul(3);a4=vir(k, 4)-mul(4);bl=vir(k, 1)mu2(1);b2=vir(k, 2)-mu2(2);b3-vir(k, 3)-mu2(3);b4=vir(k, 4)-mu2 (4);cl=vir (k, l)-mu3(l);c2=vir (k, 2) -mu3 (2);c3=vir (k, 3) -mu3 (3);c4=vir (k, 4) mu3 (4);pp31(k)=(al"2)+(a2"2)+(

16、a3"2)+(a4"2);pp32(k)二(b2) + (b2"2) + (b3"2) + (b4"2);pp33(k) = (cl 2) + (c2 2) + (c3 2) + (c4 2);if pp33(k)<pp21(k) && pp33(k)<pp23 (k)test_Label3(k)=3;else.t.es.tLab.el3. (k) =0;end- endAcc = (length(find(test_Label1=1)+length(find(test_Label2=2) +length(find(

17、test_Label3=3)/(3*N);dispCf The accuracy of minimun distance is: ， num2str(Acc);%Mahalanobis classifiterEfor k=l:Nbbll(k)=mahal(set(k, :), set);bbl2(k)=mahal(set(k, :), ver);bbl3(k)=mahal(set(k, :), vir):if bbll(k)<bbl2(k) && bbll(k)<bbl3(k) :est_Label4 (k)=4;elseest_Label4(k)=0:endend

18、for k=l:Nbb21(k)=mahal(ver(k, :), set);bb22(k)=mahal(ver(k, :), ver);bb23(k)=makal(ver(k, ：), vir);if bb22(k)<bb21(k) && bb22(k)<bb23(k) test_Label5(k)=5;elsetest_Label5(k)=0;endendfotr k=l:Nbb31 (k.：1 =mahal (vir (k, :) r set);hb32 (k)=mahal (vir (k, :), ver):bb33 (k) =mahal (vir (kT :), vir);if bb33(k)<bb31(k) && bb33(k)<bb32(k)test_Label6(k)=6：elsetestLabelS(k)=0；endendAcc2 = (length (find (test_Labe!4=4) +length (find (test_Label5=5