模式識別習(xí)題及答案

第一章緒論1.什么是模式？具體事物所具有的信息。模式所指的不是事物本身，而是我們從事物中獲得的___信息__。2.模式識別的定義？讓計算機來判斷事物。3.模式識別系統(tǒng)主要由哪些部分組成？數(shù)據(jù)獲取—預(yù)處理—特征提取與選擇—分類器設(shè)計/分類決策。第二章貝葉斯決策理論1.最小錯誤率貝葉斯決策過程？答：已知先驗概率，類條件概率。利用貝葉斯公式得到后驗概率。根據(jù)后驗概率大小進行決策分析。2.最小錯誤率貝葉斯分類器設(shè)計過程？答：根據(jù)訓(xùn)練數(shù)據(jù)求出先驗概率類條件概率分布利用貝葉斯公式得到后驗概率如果輸入待測樣本X，計算X的后驗概率根據(jù)后驗概率大小進行分類決策分析。3.最小錯誤率貝葉斯決策規(guī)則有哪幾種常用的表示形式？答：4.貝葉斯決策為什么稱為最小錯誤率貝葉斯決策？答：最小錯誤率Bayes決策使得每個觀測值下的條件錯誤率最小因而保證了（平均）錯誤率最小。Bayes決策是最優(yōu)決策：即，能使決策錯誤率最小。5.貝葉斯決策是由先驗概率和（類條件概率）概率，推導(dǎo)（后驗概率）概率，然后利用這個概率進行決策。6.利用乘法法則和全概率公式證明貝葉斯公式答：所以推出貝葉斯公式7.樸素貝葉斯方法的條件獨立假設(shè)是（P(x|ωi)=P(x1,x2,…,xn|ωi)=P(x1|ωi)P(x2|ωi)…P(xn|ωi)）怎樣利用樸素貝葉斯方法獲得各個屬性的類條件概率分布？答：假設(shè)各屬性獨立，P(x|ωi)=P(x1,x2,…,xn|ωi)=P(x1|ωi)P(x2|ωi)…P(xn|ωi)后驗概率：P(ωi|x)=P(ωi)P(x1|ωi)P(x2|ωi)…P(xn|ωi)類別清晰的直接分類算，如果是數(shù)據(jù)連續(xù)的，假設(shè)屬性服從正態(tài)分布，算出每個類的均值方差，最后得到類條件概率分布。均值：方差：計算屬性MaritalStatus的類條件概率分布給表格計算，婚姻狀況幾個類別和分類幾個就求出多少個類條件概率。10，樸素貝葉斯分類器的優(yōu)缺點？答：分類器容易實現(xiàn)。面對孤立的噪聲點，樸素貝葉斯分類器是健壯的。因為在從數(shù)據(jù)中估計條件概率時。這些點被平均。面對無關(guān)屬性，該分類器是健壯的。相關(guān)屬性可能降低分類器的性能。因為對這些屬性，條件獨立的假設(shè)已不成立。我們將劃分決策域的邊界稱為(決策面)，在數(shù)學(xué)上用可以表示成(決策面方程)用于表達決策規(guī)則的函數(shù)稱為(判別函數(shù))判別函數(shù)與決策面方程是密切相關(guān)的，且它們都由相應(yīng)的決策規(guī)則所確定.寫出多元正態(tài)概率下的最小錯誤率貝葉斯決策的判別函數(shù)，即多元正態(tài)概率下的最小錯誤率貝葉斯決策的決策面方程為多元正態(tài)概率下的最小錯誤率貝葉斯決策，當(dāng)類條件概率分布的協(xié)方差矩陣為時，每類的協(xié)方差矩陣相等，且類內(nèi)各特征間（相互獨立），并具有相等的方差。多元正態(tài)概率下的最小錯誤率貝葉斯決策，如果先驗概率相等，并且i=1,2,...c，那么分類問題轉(zhuǎn)化為只要計算待測樣本x到各類均值的(歐式距離)，然后把x歸于具有（最小距離平方）的類。這種分類器稱為（最小距離分類器）。多元正態(tài)概率下的最小錯誤率貝葉斯決策，類條件概率密度各類的協(xié)方差矩陣不相等時，決策面是（超二次曲面），判別函數(shù)是（二次型） 第三章概率密度函數(shù)的估計類條件概率密度估計的兩種主要方法（參數(shù)估計）和（非參數(shù)估計）。類條件概率密度估計的非參數(shù)估計有兩種主要的方法（Parzen窗法）和（KN近鄰法）。它們的基本原理都是基于樣本對分布的（未知）原則。如果有N個樣本，可以計算樣本鄰域的體積V，然后獲得V中的樣本數(shù)k，那么P(x)=假設(shè)正常細胞和癌細胞的樣本的類條件概率服從多元正態(tài)分布，使用最大似然估計方法，對概率密度的參數(shù)估計的結(jié)果為。證明：使用最大似然估計方法，對一元正態(tài)概率密度的參數(shù)估計的結(jié)果如下：5.已知5個樣本和2個屬性構(gòu)成的數(shù)據(jù)集中，w1類有3個樣本，w2類有兩個樣本。如果使用貝葉斯方法設(shè)計分類器，需要獲得各類樣本的條件概率分布，現(xiàn)假設(shè)樣本服從多元正態(tài)分布則只需獲得分布的參數(shù)均值向量和協(xié)方差矩陣即可，那么采用最大似然估計獲得的w1類的類條件概率密度均值向量為（轉(zhuǎn)置）,以及協(xié)方差矩陣為（）。第四章線性判別函數(shù)1.已知兩類問題的樣本集中，有兩個樣本。屬于類，屬于類，對它們進行增廣后，這兩個樣本的增廣樣本分別為[y1=(1,1,-3,2)T,y2=(-1,-1,-2,3)T]廣義線性判別函數(shù)主要是利用(映射)原理解決（普通函數(shù)不能解決的高次判別函數(shù)）問題，利用廣義線性判別函數(shù)設(shè)計分類器可能導(dǎo)致（維數(shù)災(zāi)難）。線性分類器設(shè)計步驟？主要步驟：1.收集訓(xùn)練數(shù)據(jù)集D={x1,x2,…,xN}2.按需要確定一個準(zhǔn)則函數(shù)J(D,w,w0)或J(D,a)，其值反映分類器的性能，其極值解對應(yīng)于“最好”決策。3.用最優(yōu)化技術(shù)求準(zhǔn)則函數(shù)J的極值解w*，w*或a*。4.最終，得到線性判別函數(shù)，完成分類器設(shè)計5.線性判別函數(shù)g(x)的幾何表示是：點x到?jīng)Q策面H的（距離的一種代數(shù)度量）。6.增廣樣本向量使特征空間增加了（一）維，但樣本在新的空間中保持了樣本間的（歐氏距離）不變，對于分類效果也與原決策面相同。在新的空間中決策面H通過坐標(biāo)（原點）準(zhǔn)則的基本原理為：找到一個最合適的投影軸，使_(類間)在該軸上投影之間的距離盡可能遠，而（類內(nèi)）的投影盡可能緊湊，從而使分類效果為最佳。Fisher準(zhǔn)則函數(shù)的定義為 9Fisher方法中，樣本類內(nèi)離散度矩陣Si與總類內(nèi)離散度矩陣Sw分別為 10.利用Lagrange乘子法使Fisher線性判別的準(zhǔn)則函數(shù)極大化，最終可以得到的判別函數(shù)權(quán)向量11.敘述Fisher算法的基本原理。Fisher準(zhǔn)則的基本原理：找到一個最合適的投影軸，使兩類樣本在該軸上投影之間的距離盡可能遠，而每一類樣本的投影盡可能緊湊，從而使分類效果為最佳。1213.已知兩類問題的樣本集中，有兩個樣本。屬于w1類，屬于w2類，對它們進行增廣規(guī)范化后，這兩個樣本的規(guī)范化增廣樣本分別為y1=(1,1,-3,2)轉(zhuǎn)置和y2=(1,-1,-2,3)轉(zhuǎn)置。敘述感知準(zhǔn)則的梯度下降算法的基本過程。答：1.初值:任意給定一向量初始值a(1)2.迭代:第k+1次迭代時的權(quán)向量a(k+1)等于第k次的權(quán)向量a(k)加上被錯分類的所有樣本之和與pk的乘積3.終止:對所有樣本正確分類15感知準(zhǔn)則函數(shù)16線性判別函數(shù)g(x)的幾何表示是：點x到?jīng)Q策面H的（距離的代數(shù)度量）感知機方法主要有兩種，批量樣本修正法與單樣本修正法。它們之間的區(qū)別是什么？答單樣本修正法：樣本集視為不斷重復(fù)出現(xiàn)的序列，逐個樣本檢查，修正權(quán)向量批量樣本修正法：樣本成批或全部檢查后，修正權(quán)向量感知準(zhǔn)則特點是隨意確定權(quán)向量（初始值），在對樣本分類訓(xùn)練過程中（逐步修正）權(quán)向量直至最終確定。對于感知準(zhǔn)則函數(shù)，滿足（）的權(quán)向量稱為解向量，解向量不止一個，而是由無窮多個解向量組成的解，稱這樣的區(qū)域為（解區(qū)域）。感知準(zhǔn)則函數(shù)為 極小值時的a為最優(yōu)解證明使用梯度下降算法的迭代過程公式證明： 21.下列哪種分類方法最不適用于樣本集線性不可分情況：BA．Fisher線性判別的Lagrange乘子法B．感知準(zhǔn)則的梯度下降算法C．最小錯分樣本數(shù)準(zhǔn)則的共軛梯度法D．最小平方誤差準(zhǔn)則的梯度下降法22.多類問題可以利用求兩類問題的方法來求解。這樣做的缺點是會造成(無法確定類別的區(qū)域增大)，需要訓(xùn)練的(子分類器及參數(shù)增多)。利用最小平方誤差準(zhǔn)則函數(shù)進行分類器設(shè)計，主要是求極小化時的權(quán)向量。當(dāng)時，最小平方誤差準(zhǔn)則函數(shù)的解等價于(Bayes)線性判別的解。敘述分類器錯誤率估計中的留一法的運算過程。答：個樣本，取N-1個樣本作為訓(xùn)練集，設(shè)計分類器。2.剩下的一個樣本作為測試集，輸入到分類器中，檢驗是否錯分。3.然后放回樣本，重復(fù)上述過程，直到N次，即每個樣本都做了一次測試。統(tǒng)計被錯分的次數(shù)k, 作為錯誤率的估計率。25利用兩類問題的線性分類器解決多類問題常用的兩種方法的優(yōu)缺點。答：優(yōu)點：設(shè)計思想簡單，容易實現(xiàn)。缺點：（1）需要訓(xùn)練的子分類器或參數(shù)多，效率低。（2）無法確定類別的區(qū)域多?！驹斐稍搯栴}的根本原因是將多類問題看成了多個兩類問題來解決。這樣必然造成陰影區(qū)域的出現(xiàn)。解決辦法用多類問題的分類器】26線性分類器設(shè)計中的最小平方準(zhǔn)則函數(shù)方法采用的準(zhǔn)則函數(shù)公式是什么？當(dāng)利用偽逆解方法求解時，遇到計算量過大時，可以代替采用何種方法來訓(xùn)練分類器參數(shù)？敘述你所使用方法的基本原理，并解釋為什么你的方法可以降低計算量。答：因為e=Ya-b， 常用梯度下降法來降低計算復(fù)雜度 批量樣本修正法： 單樣本修正法：27利用兩類別的線性分類器如何解決多類別的分類問題？ωi/~ωi法：將C類別問題化為(C-1)個兩類（第i類與所有非i類）問題，按兩類問題確定其判別函數(shù)與決策面方程ωi/ωj法：將C類中的每兩類別單獨設(shè)計其線性判別函數(shù)，因此總共有C(C-1)/2個線性判別函數(shù)敘述分類器錯誤率估計中的m-重交叉驗證方法的運算過程，并說明什么情況下該方法將退化為留一法。答：（1）N個樣本被劃分成m個不相交的集合，每組有個樣本。（2）在m個樣本中取m-1個組的樣本作為訓(xùn)練集，設(shè)計分類器。（3）剩下的一組樣本作為測試集，輸入到分類器中檢驗，統(tǒng)計錯分數(shù)k.（4）然后放回，重復(fù)上述過程，直到m次。（5）設(shè)ki（i=1,…,m)是第i次測試的錯分數(shù)，則 當(dāng)m=N時，退化為留一法。第五章近鄰法近鄰法性能優(yōu)點：（1）設(shè)計簡單（2）分類性能優(yōu)良（3）適用于線性不可分情況缺點：（1）計算量大，存儲量大特征的選擇與提取敘述用于特征選擇的增l減r搜索算法的算法步驟。并考慮l值大于（或小于）r值時，增l減r算法步驟應(yīng)做出怎樣的修改，以及該情況下，增l減r搜索算法的特點？答步驟一：用SFS法在未入選特征組中逐個選入L個特征，形成新特征組Xk+L，設(shè)置k=k+L，步驟二：用SBS法從特征組Xk中逐個剔除r個最差的特征，形成新特征組Xk-r，設(shè)置k=k-r，若k=d，則終止算法，否則設(shè)置xk=xk-r，轉(zhuǎn)向第一步。（1）當(dāng)L>r時，L-r法是一種自下而上的算法，先執(zhí)行第一步，然后執(zhí)行第二步，開始時，設(shè)置k=0，x0=空（2）當(dāng)L<r時，L-r法是一種自上而下的算法，此時先執(zhí)行第二步，然后執(zhí)行第一步，開始時設(shè)置k=0，x0={