模式識別復(fù)習(xí)重點總結(jié)

1、1線性判別方法（1）兩類：二維及多維判別函數(shù)，判別邊界，判別規(guī)則二維情況：（a）判別函數(shù)： ( ) （b）判別邊界：g(x)=0; （c）判別規(guī)則：n維情況：（a）判別函數(shù)： 也可表示為： （b）判別邊界：g1(x) =WTX=0 （c）判別規(guī)則： （2）多類：3種判別方法（函數(shù)、邊界、規(guī)則）(A)第一種情況：(a)判別函數(shù)：M類可有M個判別函數(shù) (b) 判別邊界：i （i=1,2,n）類與其它類之間的邊界由 gi(x)=0確定 (c) 判別規(guī)則： (B)第二種情況：(a)判別函數(shù)：有 M(M _ 1)/2個判別平面 (b) 判別邊界：(c) 判別規(guī)則：(C)第三種情況：(a)判別函數(shù)： (b

2、) 判別邊界：gi(x) =gj(x) 或gi(x) -gj(x) =0 (c) 判別規(guī)則：2分段線性判別方法1）基于距離:（1）子類，類判別函數(shù) （2）判別規(guī)則（1）子類：把i類可以分成li個子類: 分成l個子類。子類判別函數(shù)：在同類的子類中找最近的均值（2）判別規(guī)則：這是在M類中找最近均值。則把x歸于j類完成分類2）基于函數(shù)：（1）子類，類判別函數(shù) （2）判別規(guī)則（1）子類類判別函數(shù)：對每個子類定義一個線性判別函數(shù)為：（2）判別規(guī)則：在各子類中找最大的判別函數(shù)作為此類的代表，則對于M類，可定義M個判別函數(shù)gi(x),i=1,2,.M,因此，決策規(guī)則3）基于凹函數(shù)的并：（1）析取范式，合取范

3、式，凹函數(shù)判別規(guī)則析取范式：P=(L11L12L1m)(Lq1Lq2Lqm)合取范式：Q= (L11 L12 L1m) (Lq1 Lq2 Lqm)凹函數(shù)：Pi=Li1Li2Lim判別規(guī)則：設(shè)第一類有q個峰，則有q個凹函數(shù)。即P=P1P2Pq 3非線性判別方法（1）集中，分散（2）, 均集中4分類器的設(shè)計（1）梯度下降法（迭代法）：準(zhǔn)則函數(shù)，學(xué)習(xí)規(guī)則（a）準(zhǔn)則函數(shù)：J(W)J(Wk)+ JT(W- Wk)+(W- Wk)TD(W- Wk)T/2 其中D為當(dāng)W = Wk時 J(W)的二階偏導(dǎo)數(shù)矩陣（b）學(xué)習(xí)規(guī)則：從起始值W1開始，算出W1處目標(biāo)函數(shù)的梯度矢量J(W1)，則下一步的w值為：W2 =

4、W1-1J(W1) 其中W1為起始權(quán)向量， 1為迭代步長，J(W1) 為目標(biāo)函數(shù)，J(W1)為W1處的目標(biāo)函數(shù)的梯度矢量在第K步的時候Wk+1 = Wk-kJ(Wk) 最佳步長為k=|J|2/JTDJ這就是梯度下降法的迭代公式。（2）感知器法：準(zhǔn)則、學(xué)習(xí)規(guī)則（批量，樣本）（a）準(zhǔn)則函數(shù)： 其中x0為錯分樣本（b）學(xué)習(xí)規(guī)則： 1.錯誤分類修正wk 如wkTx0并且x1 wk+1= wk+kx 如wkTx0并且x2 wk+1= wk-kx 2.正確分類 ，wk不修正 如wkTx0并且x1 如wkTx0并且x2 wk+1= wk （3）最小平方誤差準(zhǔn)則法（MSE法）（非迭代法）：準(zhǔn)則、權(quán)向量解(a)

5、準(zhǔn)則函數(shù)：(b)權(quán)向量解：（4）韋霍氏法（LMS法）（迭代法）：準(zhǔn)則，學(xué)習(xí)規(guī)則(a)準(zhǔn)則函數(shù)：(b)學(xué)習(xí)規(guī)則： W1任意 ，Wk+1=Wk+k(bk-WkTXk) Xk k隨迭代次數(shù)k而減少，以保證算法收斂于滿意的W值（5）何卡氏法（H-K法）（迭代法）：準(zhǔn)則，的學(xué)習(xí)規(guī)則(a)準(zhǔn)則： 它的解為： （b）b，W的學(xué)習(xí)規(guī)則： 其中 c為矯正系數(shù)，ek為誤差矢量，ek=XWk-bk 初始條件 W1=X+b1并且b10迭代時檢測 如果ek0時，XWb，系統(tǒng)線性可分，迭代收斂 如果ek0時，XW0時 rk+1= 0 xk+11并且Kk(xk+1) 0時 rk+1= 1 xk+12并且Kk(xk+1)0時

6、 rk+1= 0 xk+12并且Kk(xk+1) 0時 rk+1= -151）二類問題的貝葉斯判別（1）判別函數(shù)的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結(jié)構(gòu) （1）判別函數(shù)的四種形式： （2）判別規(guī)則： （3）決策面方程：g（x）=02）多類問題的貝葉斯判別（1）判別函數(shù)的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結(jié)構(gòu) （1）判別函數(shù)的四種形式：M類有M個判別函數(shù)g1(x), g2(x), gm(x).（2）決策規(guī)則：另一種形式：（3）決策面方程：6三種最小錯誤率貝葉斯分類器（正態(tài)分布）：判別函數(shù)，判別規(guī)則，決策面方程（1）第一種情況：各個特征統(tǒng)計獨立，且同方差情況

7、。(最簡單情況) (a)判別函數(shù)： (b)判別規(guī)則： (c)決策面方程：（2）第二種情況：i 相等，即各類協(xié)方差相等。 (a)判別函數(shù)： (b)判別規(guī)則： (c)決策面方程：（3）第三種情況(一般情況)：為任意，各類協(xié)方差矩陣不等，二次項xT x與i有關(guān)。所以判別函數(shù)為二次型函數(shù)。(a)判別函數(shù)：(b)判別規(guī)則： (c)決策面方程： 7最小風(fēng)險貝葉斯分類器：判別函數(shù)，判別規(guī)則（1）判別函數(shù)：條件風(fēng)險：i：表示把模式x判決為i類的一次動作 期望風(fēng)險： （2）判別規(guī)則： ：8最小最大損失準(zhǔn)則判決（二類）：準(zhǔn)則，判別規(guī)則，的確定（1）準(zhǔn)則：討論在P(i)變化時如何使最大可能風(fēng)險最?。唬?）判別規(guī)則：

8、風(fēng)險 通過最小風(fēng)險與先驗概率的關(guān)系曲線 ，確定最大風(fēng)險，使最大風(fēng)險最小。（3）的確定：9（1）貝葉斯估計算法思想：準(zhǔn)則，求解過程(A)準(zhǔn)則：通過對第i類學(xué)習(xí)樣本Xi的觀察，使概率密度分布P(Xi/)轉(zhuǎn)化為后驗概率P(/Xi) ，再求貝葉斯估計；(B)求解過程： 確定的先驗分布P(),待估參數(shù)為隨機變量。 用第i類樣本xi=(x1, x2,. xN)T求出樣本的聯(lián)合概率密度分布P(xi|)，它是的函數(shù)。 利用貝葉斯公式,求的后驗概率 （2）正態(tài)分布情況下：的計算對的估計為若令P()=N(0, 02 )=N(0,1)9非參數(shù)估計的條件密度計算公式（1）Parzen窗口估計的三種形式，條件密度的計算

9、（A）窗口的選擇：（A）方窗函數(shù)；（B）正態(tài)窗函數(shù)；（C）指數(shù)窗函數(shù)（B）條件密度的計算：（2）K-近鄰估計的基本思想及用K-近鄰法作后驗概率估計的方法（A）基本思想：以x為中心建立空胞，使v，直到捕捉到KN個樣本為止。（B）用K-近鄰法作后驗概率估計的方法：由KN近鄰估計知N個已知類別樣本落入VN內(nèi)為KN個樣本的概率密度估計為N個樣本落入VN內(nèi)有KN個，KN個樣本內(nèi)有Ki個樣本屬于i類，則聯(lián)合概率密度：根據(jù)Bayes公式可求出后驗概率：27模糊聚類分析方法1）基于等價關(guān)系（1）-水平截陣（2）等價劃分（1）水平截陣： R =x| A(x) （2）等價劃分：若 是E上的一個等價關(guān)系。則對任意閾值(0 1)則模糊水平集R 也是E上的一個等價關(guān)系；由小到大選取閾值(0