PR部分習(xí)題解答

1、第二章：貝葉斯決策理論主要考點：1. 最小錯誤率貝葉斯分類器；2. 最小風(fēng)險貝葉斯分類器；3. 多元正態(tài)分布時的最小錯誤率貝葉斯分類器。典型例題：，.，.。例題1：在一個一維模式兩類分類問題中，設(shè)，兩類的類概率密度分別為 1）求最小錯誤率貝葉斯分類器的閾值。2）設(shè)損失為，求最小風(fēng)險貝葉斯分類器的閾值。解：由于p(w1)=1/3, p(w2)=2/3，則最小錯誤率貝葉斯分類器的閾值=p(w2)/p(w1)=2 其相應(yīng)的決策規(guī)則為： 則 即 （2） 當(dāng)L= 時， 從而最小風(fēng)險貝葉斯決策規(guī)則的閾值為： 判決規(guī)則為：,則 即=>例45,2.23解：這里兩類協(xié)方差矩陣相等。負對數(shù)似然比判別規(guī)則為例

2、2.24解： 例：假設(shè)兩類二維正態(tài)分布參數(shù)如下，試給出負對數(shù)似然比判別規(guī)則。解：負對數(shù)似然比判別規(guī)則為所以，決策規(guī)則為：實驗一：貝葉斯分類器設(shè)計實驗1）隨機生成服從二維正態(tài)分布的三類樣本類別均值方差訓(xùn)練樣本個數(shù)測試樣本數(shù)1300100220010035001002）利用訓(xùn)練樣本估計各類的均值與協(xié)方差矩陣，并以此作為各類的類概率密度的參數(shù)；3）設(shè)計基于最小錯誤率的貝葉斯分類器；4）計算測試樣本的錯誤率5）分析實驗結(jié)果上機步驟：第一步：生成各種隨機數(shù)d1=1+sqrt(4)*randn(1,300); %d2=2+sqrt(6)*randn(1,300);train_data1=d1;d2; %合

3、成一個二維正態(tài)分布的訓(xùn)練樣本，類別為;d3=5+sqrt(5)*randn(1,200); d4=3+sqrt(1)*randn(1,200);train_data2=d3;d4; 生成一個二維正態(tài)分布的訓(xùn)練樣本，類別為；d5=4+sqrt(2)*randn(1,200);d6=7+sqrt(9)*randn(1,200); 生成一個二維正態(tài)分布的訓(xùn)練樣本，類別為；c1=1+sqrt(4)*randn(1,100); %c2=2+sqrt(6)*randn(1,100);test_data1=c1;c2; %合成一個二維正態(tài)分布的訓(xùn)練樣本，類別為;c3=5+sqrt(5)*randn(1,10

4、0); c4=3+sqrt(1)*randn(1,100);test_data2=c3;c4; %生成一個二維正態(tài)分布的訓(xùn)練樣本，類別為；c5=4+sqrt(2)*randn(1,100);c6=7+sqrt(9)*randn(1,100);%生成一個二維正態(tài)分布的訓(xùn)練樣本，類別為；test_data2=c5;c6;第二步：計算各類的均值與協(xié)方差矩陣；miu1=mean(train_data1);miu2=mean(train_data2);miu3=mean(train_data3);cov1=cov(train_data1');cov2=cov(train_data1');

5、cov3=cov(train_data1');第三步：設(shè)計基于最小錯誤率的貝葉斯分類器，這屬于三類問題，第三種情況：各類的協(xié)方差均不相等。分類函數(shù)見書上P33,公式；第四步：將生成的測試樣本依次用分類函數(shù)分類，計算所有樣本的正確分類次數(shù)及正確分類率；第五步：與理論計算相比較，分析結(jié)果。第四章 線性判別函數(shù)要求掌握線性判別的一般步驟，fisher分類器的設(shè)計步驟。例p117,4.4解:廣義齊次函數(shù)實驗二： 線性分類器訓(xùn)練1）隨機生成服從二維正態(tài)分布的三類樣本類別均值方差訓(xùn)練樣本個數(shù)測試樣本數(shù)130010022001002）設(shè)計Fisher分類器；3) 計算測試樣本的錯誤率4)

6、分析實驗結(jié)果實驗步驟： 生成服從二維正態(tài)分布的二類樣本，方法同實驗一； 計算各類樣本均值向量，樣本類間散度矩陣，總散度矩陣； 求使得Fisher準則函數(shù)JF(w)取極大值時的解，； 分類器為： 將測試樣本輸入分類器，一一測試其分類。具體方法見。第五章 非線性判別函數(shù)、最領(lǐng)近法要求：掌握最領(lǐng)近法的分類及圖解、馬氏距離的計算，主成分分析方法典型例題：，。例題：設(shè)兩類模式的特征向量分別服從正態(tài)分布，均值向量及協(xié)方差矩陣分別為：，一未知類別樣本的特征向量1）利用Mahalanobis距離判別x 的類別；2）計算 x 的主成分特征。解：（1）由馬氏距離的定義，則,而，則從而屬于第一類。（2） 兩類模式的

7、協(xié)方差矩陣它所對應(yīng)的特征值故特征值 。而所對應(yīng)的特征向量，所對應(yīng)的特征向量。則的貢獻率為， 的貢獻率為 故第一主成分為，將代入得=2.4033 第二主成分為，將代入得=-0.2531。例設(shè)有七個二維樣本分屬于兩類：假定前三個為1類,后四個為2類.1) 畫出最近鄰法的決策面;2) 求各類樣本均值,若按與各類樣本均值的最小距離分類, 試給出決策函數(shù),并畫出決策面.解：（1）這是一個兩類問題，第1類有3個樣本，第2類有4個樣本。我們規(guī)定的判別函數(shù)為，其中的下標i表示wi類，k表示wi類的第k個樣本。則決策規(guī)則，則決策。按近鄰法，對任意兩個由不同類別的訓(xùn)練樣本構(gòu)成的樣本對，如果它們有可能成為測試樣本的

8、近鄰，則它們構(gòu)成一組最小距離分類器，它們之間的中垂面就是分界面，因此由三個A類與四個B類訓(xùn)練樣本可能構(gòu)成的分界面最大數(shù)量為3×412。實際分界面有條線組成，（2） w1類的樣本均值：，w2類的樣本均值：。對未知樣本x，決策函數(shù)為。若g(x)>0,則，若g(x)<0,則決策面g(x)=0如圖：。例設(shè)在一個二維空間，A類有三個訓(xùn)練樣本，圖中用紅點表示，B類四個樣本，圖中用藍點表示。試問：（1）按近鄰法分類，這兩類最多有多少個分界面（2）畫出實際用到的分界面B3B4B1B2A3A1A2解：按近鄰法，對任意兩個由不同類別的訓(xùn)練樣本構(gòu)成的樣本對，如果它們有可能成為測試樣本的近鄰，則它們