模式識(shí)別復(fù)習(xí)重點(diǎn)總結(jié)63212.doc

學(xué)習(xí)資料收集于網(wǎng)絡(luò)，僅供參考1.什么是模式及模式識(shí)別？模式識(shí)別的應(yīng)用領(lǐng)域主要有哪些？ 模式：存在于時(shí)間，空間中可觀察的事物，具有時(shí)間或空間分布的信息； 模式識(shí)別：用計(jì)算機(jī)實(shí)現(xiàn)人對(duì)各種事物或現(xiàn)象的分析,描述,判斷,識(shí)別。 模式識(shí)別的應(yīng)用領(lǐng)域：（1）字符識(shí)別；（2） 醫(yī)療診斷；（3）遙感；(4）指紋識(shí)別 臉形識(shí)別；（5）檢測(cè)污染分析，大氣，水源，環(huán)境監(jiān)測(cè)；（6）自動(dòng)檢測(cè)；（7 ）語(yǔ)聲識(shí)別，機(jī)器翻譯，電話(huà)號(hào)碼自動(dòng)查詢(xún)，偵聽(tīng)，機(jī)器故障判斷；（8）軍事應(yīng)用。2.模式識(shí)別系統(tǒng)的基本組成是什么？（1） 信息的獲?。菏峭ㄟ^(guò)傳感器，將光或聲音等信息轉(zhuǎn)化為電信息；（2） 預(yù)處理：包括AD,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等, 主要指圖象處理；（3） 特征抽取和選擇：在測(cè)量空間的原始數(shù)據(jù)通過(guò)變換獲得在特征空間最能反映分類(lèi)本質(zhì)的特征；（4） 分類(lèi)器設(shè)計(jì)：分類(lèi)器設(shè)計(jì)的主要功能是通過(guò)訓(xùn)練確定判決規(guī)則，使按此類(lèi)判決規(guī)則分類(lèi)時(shí)，錯(cuò)誤率最低。把這些判決規(guī)則建成標(biāo)準(zhǔn)庫(kù)；（5） 分類(lèi)決策：在特征空間中對(duì)被識(shí)別對(duì)象進(jìn)行分類(lèi)。3.模式識(shí)別的基本問(wèn)題有哪些？（1）模式(樣本)表示方法：（a）向量表示；（b）矩陣表示；（c）幾何表示；（4）基元(鏈碼)表示；（2）模式類(lèi)的緊致性：模式識(shí)別的要求:滿(mǎn)足緊致集，才能很好地分類(lèi)；如果不滿(mǎn)足緊致集，就要采取變換的方法,滿(mǎn)足緊致集（3）相似與分類(lèi)；(a)兩個(gè)樣本xi ，xj之間的相似度量滿(mǎn)足以下要求： 應(yīng)為非負(fù)值 樣本本身相似性度量應(yīng)最大 度量應(yīng)滿(mǎn)足對(duì)稱(chēng)性 在滿(mǎn)足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距離的 單調(diào)函數(shù) (b) 用各種距離表示相似性（4）特征的生成:特征包括：(a)低層特征;(b)中層特征;(c)高層特征（5） 數(shù)據(jù)的標(biāo)準(zhǔn)化:(a)極差標(biāo)準(zhǔn)化；(b)方差標(biāo)準(zhǔn)化 4線(xiàn)性判別方法（1）兩類(lèi)：二維及多維判別函數(shù)，判別邊界，判別規(guī)則二維情況：（a）判別函數(shù)： ( ) （b）判別邊界：g(x)=0; （c）判別規(guī)則：n維情況：（a）判別函數(shù)： 也可表示為： （b）判別邊界：g1(x) =WTX=0 （c）判別規(guī)則： （2）多類(lèi)：3種判別方法（函數(shù)、邊界、規(guī)則）(A)第一種情況：(a)判別函數(shù)：M類(lèi)可有M個(gè)判別函數(shù) (b) 判別邊界：i （i=1,2,n）類(lèi)與其它類(lèi)之間的邊界由 gi(x)=0確定 (c) 判別規(guī)則： (B)第二種情況：(a)判別函數(shù)：有 M(M _ 1)/2個(gè)判別平面 (b) 判別邊界：(c) 判別規(guī)則：(C)第三種情況：(a)判別函數(shù)： (b) 判別邊界：gi(x) =gj(x) 或gi(x) -gj(x) =0 (c) 判別規(guī)則：5什么是模式空間及加權(quán)空間，解向量及解區(qū)？（1）模式空間：由 構(gòu)成的n維歐氏空間；（2）加權(quán)空間：以 為變量構(gòu)成的歐氏空間；（3）解向量：分界面為H，W與H正交，W稱(chēng)為解向量；（4）解區(qū)：解向量的變動(dòng)范圍稱(chēng)為解區(qū)。6超平面的四個(gè)基本性質(zhì)是什么？性質(zhì)：W與H正交；性質(zhì) ：其中， 為x矢量到H的正交投影；性質(zhì)：性質(zhì)： 7二分法能力如何表示？N個(gè)樣品線(xiàn)性可分?jǐn)?shù)目(條件：樣本分布良好）：線(xiàn)性可分概率:8廣義線(xiàn)性判別方法（1）非線(xiàn)性線(xiàn)性一個(gè)非線(xiàn)性判別函數(shù)通過(guò)映射，變換成線(xiàn)性判別函數(shù)：（2）線(xiàn)性判別9分段線(xiàn)性判別方法1）基于距離:（1）子類(lèi)，類(lèi)判別函數(shù) （2）判別規(guī)則（1）子類(lèi)：把i類(lèi)可以分成li個(gè)子類(lèi): 分成l個(gè)子類(lèi)。子類(lèi)判別函數(shù)：在同類(lèi)的子類(lèi)中找最近的均值（2）判別規(guī)則：這是在M類(lèi)中找最近均值。則把x歸于j類(lèi)完成分類(lèi)2）基于函數(shù)：（1）子類(lèi)，類(lèi)判別函數(shù) （2）判別規(guī)則（1）子類(lèi)類(lèi)判別函數(shù)：對(duì)每個(gè)子類(lèi)定義一個(gè)線(xiàn)性判別函數(shù)為：（2）判別規(guī)則：在各子類(lèi)中找最大的判別函數(shù)作為此類(lèi)的代表，則對(duì)于M類(lèi)，可定義M個(gè)判別函數(shù)gi(x),i=1,2,.M,因此，決策規(guī)則3）基于凹函數(shù)的并：（1）析取范式，合取范式，凹函數(shù)（2） 判別規(guī)則（1） 析取范式：P=(L11L12L1m)(Lq1Lq2Lqm)合取范式：Q= (L11 L12 L1m) (Lq1 Lq2 Lqm) 凹函數(shù)：Pi=Li1Li2Lim（2） 判別規(guī)則：設(shè)第一類(lèi)有q個(gè)峰，則有q個(gè)凹函數(shù)。即P=P1P2Pq 10非線(xiàn)性判別方法（1）集中，分散（2）, 均集中11分類(lèi)器的設(shè)計(jì)（1）梯度下降法（迭代法）：準(zhǔn)則函數(shù)，學(xué)習(xí)規(guī)則（a）準(zhǔn)則函數(shù)：J(W)J(Wk)+ JT(W- Wk)+(W- Wk)TD(W- Wk)T/2 其中D為當(dāng)W = Wk時(shí) J(W)的二階偏導(dǎo)數(shù)矩陣（b）學(xué)習(xí)規(guī)則：從起始值W1開(kāi)始，算出W1處目標(biāo)函數(shù)的梯度矢量J(W1)，則下一步的w值為：W2 = W1-1J(W1) 其中W1為起始權(quán)向量， 1為迭代步長(zhǎng)，J(W1) 為目標(biāo)函數(shù)，J(W1)為W1處的目標(biāo)函數(shù)的梯度矢量在第K步的時(shí)候Wk+1 = Wk-kJ(Wk) 最佳步長(zhǎng)為k=|J|2/JTDJ這就是梯度下降法的迭代公式。（2）感知器法：準(zhǔn)則、學(xué)習(xí)規(guī)則（批量，樣本）（a）準(zhǔn)則函數(shù)： 其中x0為錯(cuò)分樣本（b）學(xué)習(xí)規(guī)則： 1.錯(cuò)誤分類(lèi)修正wk 如wkTx0并且x1 wk+1= wk+kx 如wkTx0并且x2 wk+1= wk-kx 2.正確分類(lèi) ，wk不修正 如wkTx0并且x1 如wkTx0并且x2 wk+1= wk （3）最小平方誤差準(zhǔn)則法（MSE法）（非迭代法）：準(zhǔn)則、權(quán)向量解(a)準(zhǔn)則函數(shù)：(b)權(quán)向量解：（4）韋霍氏法（LMS法）（迭代法）：準(zhǔn)則，學(xué)習(xí)規(guī)則(a)準(zhǔn)則函數(shù)：(b)學(xué)習(xí)規(guī)則： W1任意 ，Wk+1=Wk+k(bk-WkTXk) Xk k隨迭代次數(shù)k而減少，以保證算法收斂于滿(mǎn)意的W值（5）何卡氏法（H-K法）（迭代法）：準(zhǔn)則，的學(xué)習(xí)規(guī)則(a)準(zhǔn)則： 它的解為： （b）b，W的學(xué)習(xí)規(guī)則： 其中 c為矯正系數(shù)，ek為誤差矢量，ek=XWk-bk 初始條件 W1=X+b1并且b10迭代時(shí)檢測(cè) 如果ek0時(shí)，XWb，系統(tǒng)線(xiàn)性可分，迭代收斂 如果ek0時(shí)，XW0時(shí) rk+1= 0 xk+11并且Kk(xk+1) 0時(shí) rk+1= 1 xk+12并且Kk(xk+1)0時(shí) rk+1= 0 xk+12并且Kk(xk+1) 0時(shí) rk+1= -1121）二類(lèi)問(wèn)題的貝葉斯判別（1）判別函數(shù)的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結(jié)構(gòu) （1）判別函數(shù)的四種形式： （2）判別規(guī)則：（3）決策面方程：g（x）=0 （4）決策系統(tǒng)的結(jié)構(gòu) （A）向量特征（B）判別計(jì)算（C）閾值單元（D）決策2）多類(lèi)問(wèn)題的貝葉斯判別（1）判別函數(shù)的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結(jié)構(gòu) （1）判別函數(shù)的四種形式：M類(lèi)有M個(gè)判別函數(shù)g1(x), g2(x), gm(x).（2）決策規(guī)則：另一種形式：（3）決策面方程：（4）決策系統(tǒng)的結(jié)構(gòu)：(a)特征向量；(b)判別計(jì)算；(c)最大選擇器；(d)決策13三種最小錯(cuò)誤率貝葉斯分類(lèi)器（正態(tài)分布）：判別函數(shù)，判別規(guī)則，決策面方程（1）第一種情況：各個(gè)特征統(tǒng)計(jì)獨(dú)立，且同方差情況。(最簡(jiǎn)單情況) (a)判別函數(shù)： (b)判別規(guī)則： (c)決策面方程：（2）第二種情況：i 相等，即各類(lèi)協(xié)方差相等。 (a)判別函數(shù)： (b)判別規(guī)則： (c)決策面方程：（3）第三種情況(一般情況)：為任意，各類(lèi)協(xié)方差矩陣不等，二次項(xiàng)xT x與i有關(guān)。所以判別函數(shù)為二次型函數(shù)。(a)判別函數(shù)：(b)判別規(guī)則： (c)決策面方程： 14最小風(fēng)險(xiǎn)貝葉斯分類(lèi)器：判別函數(shù)，判別規(guī)則（1）判別函數(shù)：條件風(fēng)險(xiǎn)：i：表示把模式x判決為i類(lèi)的一次動(dòng)作 期望風(fēng)險(xiǎn)： （2）判別規(guī)則： ：15聶曼皮爾遜判決：（二類(lèi)）：準(zhǔn)則，判別規(guī)則，閾值的確定（1）準(zhǔn)則： （2）判別規(guī)則：（3）閾值的確定：16最小最大損失準(zhǔn)則判決（二類(lèi)）：準(zhǔn)則，判別規(guī)則，的確定（1）準(zhǔn)則：討論在P(i)變化時(shí)如何使最大可能風(fēng)險(xiǎn)最小；（2）判別規(guī)則：風(fēng)險(xiǎn) 通過(guò)最小風(fēng)險(xiǎn)與先驗(yàn)概率的關(guān)系曲線(xiàn) ，確定最大風(fēng)險(xiǎn)，使最大風(fēng)險(xiǎn)最小。（3）的確定：17什么是序貫分類(lèi)？序貫：隨著時(shí)間的推移可以得到越來(lái)越多的信息。序貫分類(lèi)決策規(guī)則18什么是參數(shù)估計(jì)，非參數(shù)估計(jì)，監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)？參數(shù)估計(jì)：先假定研究的問(wèn)題具有某種數(shù)學(xué)模型，如正態(tài)分布，二項(xiàng)分布，再用已知類(lèi)別的學(xué)習(xí)樣本估計(jì)里面的參數(shù)；非參數(shù)估計(jì)：不假定數(shù)學(xué)模型，直接用已知類(lèi)別的學(xué)習(xí)樣本的先驗(yàn)知識(shí)直接估計(jì)數(shù)學(xué)模型；監(jiān)督學(xué)習(xí)：在已知類(lèi)別樣本指導(dǎo)下的學(xué)習(xí)和訓(xùn)練，參數(shù)估計(jì)和非參數(shù)估計(jì)都屬于監(jiān)督學(xué)習(xí)。無(wú)監(jiān)督學(xué)習(xí)：不知道樣本類(lèi)別，只知道樣本的某些信息去估計(jì)，如：聚類(lèi)分析。19（1）最大似然估計(jì)算法思想：準(zhǔn)則，求解過(guò)程（1）準(zhǔn)則：第i類(lèi)樣本的類(lèi)條件概率密度： P(Xi/i)= P(Xi/ii) = P(Xi/i)原屬于i類(lèi)的學(xué)習(xí)樣本為Xi=(X1 , X2 ,XN,)T i=1,2,M求i的最大似然估計(jì)就是把P(Xi/i)看成i的函數(shù)，求出使它最大時(shí)的i值（2）求解過(guò)程：學(xué)習(xí)樣本獨(dú)立從總體樣本集中抽取的 N個(gè)學(xué)習(xí)樣本出現(xiàn)概率的乘積 取對(duì)數(shù)：對(duì)i求導(dǎo),并令它為0：（2）正態(tài)分布情況下：, 的計(jì)算 已知, 未知,估計(jì) ， 均未知A一維情況：n=1對(duì)于每個(gè)學(xué)習(xí)樣本只有一個(gè)特征的簡(jiǎn)單情況： 即學(xué)習(xí)樣本的算術(shù)平均 樣本方差B多維情況：n個(gè)特征估計(jì)值： 20（1）貝葉斯估計(jì)算法思想：準(zhǔn)則，求解過(guò)程(A)準(zhǔn)則：通過(guò)對(duì)第i類(lèi)學(xué)習(xí)樣本Xi的觀察，使概率密度分布P(Xi/)轉(zhuǎn)化為后驗(yàn)概率P(/Xi) ，再求貝葉斯估計(jì)；(B)求解過(guò)程： 確定的先驗(yàn)分布P(),待估參數(shù)為隨機(jī)變量。 用第i類(lèi)樣本xi=(x1, x2,. xN)T求出樣本的聯(lián)合概率密度分布P(xi|)，它是的函數(shù)。 利用貝葉斯公式,求的后驗(yàn)概率 （2）正態(tài)分布情況下：的計(jì)算對(duì)的估計(jì)為若令P()=N(0, 02 )=N(0,1)21（1）貝葉斯學(xué)習(xí)概念求出的后驗(yàn)概率之后，直接去推導(dǎo)總體分布即當(dāng)N,N就反映了觀察到N個(gè)樣本后對(duì)的最好推測(cè)，而N2反映了這種推測(cè)的不確定性, N, N2,N2 隨觀察樣本增加而單調(diào)減小，且當(dāng)N, N2 0 當(dāng)N，P(|xi)越來(lái)越尖峰突起；N, P(|xi)函數(shù)，這個(gè)過(guò)程成為貝葉斯學(xué)習(xí)。 （2）正態(tài)分布情況下的計(jì)算(A)一維正態(tài)：已知2，未知 (B)多維正態(tài)（ 已知，估計(jì) ）：22非參數(shù)估計(jì)的條件密度計(jì)算公式（1）Parzen窗口估計(jì)的三種形式，條件密度的計(jì)算（A）窗口的選擇：（A）方窗函數(shù)；（B）正態(tài)窗函數(shù)；（C）指數(shù)窗函數(shù)（B）條件密度的計(jì)算：（2）K-近鄰估計(jì)的基本思想及用K-近鄰法作后驗(yàn)概率估計(jì)的方法（A）基本思想：以x為中心建立空胞，使v，直到捕捉到KN個(gè)樣本為止。（B）用K-近鄰法作后驗(yàn)概率估計(jì)的方法：由KN近鄰估計(jì)知N個(gè)已知類(lèi)別樣本落入VN內(nèi)為KN個(gè)樣本的概率密度估計(jì)為N個(gè)樣本落入VN內(nèi)有KN個(gè)，KN個(gè)樣本內(nèi)有Ki個(gè)樣本屬于i類(lèi)，則聯(lián)合概率密度：根據(jù)Bayes公式可求出后驗(yàn)概率：23 分類(lèi)與聚類(lèi)的區(qū)別是什么？分類(lèi)：用已知類(lèi)別的樣本訓(xùn)練集來(lái)設(shè)計(jì)分類(lèi)器（監(jiān)督學(xué)習(xí)）；聚類(lèi)（集群）：用事先不知樣本的類(lèi)別，而利用樣本的先驗(yàn)知識(shí)來(lái)構(gòu)造分類(lèi)器（無(wú)監(jiān)督學(xué)習(xí)）。24（1）聚合聚類(lèi)（系統(tǒng)聚類(lèi)）的算法思想：先把每個(gè)樣本作為一類(lèi)，然后根據(jù)它們間的相似性和相鄰性聚合。若有n個(gè)樣本：（A）設(shè)全部樣本分為n類(lèi)； （B）作距離矩陣D(0)； （C）求最小元素；（D）將距離平方最小的元素歸為一類(lèi)；（E）以新類(lèi)從新分類(lèi)，作距離矩陣D(1)；（F）若合并的類(lèi)數(shù)沒(méi)有達(dá)到要求，轉(zhuǎn)（C），否則停止。（2）分解聚類(lèi)的算法思想：把全部樣本作為一類(lèi)，然后根據(jù)相似性、相鄰性分解。目標(biāo)函數(shù)：兩類(lèi)均值方差 ( N：總樣本數(shù)， ：1類(lèi)樣本數(shù) ：2類(lèi)樣本數(shù)， （3）動(dòng)態(tài)聚類(lèi)的算法（K-均值算法） 先選定某種距離作為樣本間的相似性的度量; 確定評(píng)價(jià)聚類(lèi)結(jié)果的準(zhǔn)則函數(shù); 給出某種初始分類(lèi)，用迭代法找出使準(zhǔn)則函數(shù)取極值的最好的聚類(lèi)結(jié)果。25（1）什么是模糊集，-水平截集？（A）模糊集：假設(shè)論域E=x（討論的區(qū)間），模糊集A是由隸屬函數(shù)A(x)描述。其中，A(x)是定義在E上在閉區(qū)間0，1中取值的一個(gè)函數(shù)，反映x對(duì)模糊集的隸屬程度。（B）-水平截集：設(shè)A為E=（x）中的模糊集，則A=x| A(x)稱(chēng)為模糊集A的水平集， 為閾值在（0，1）間取值。（2）什么是模糊集的并，交，補(bǔ)運(yùn)算？設(shè)：A,B為E=（x）上的兩個(gè)模糊集并集:A B(x)max(A(x) ,B(x)交集: A B(x)min(A(x) ,B(x)補(bǔ)集: =1- A(x) , A(x) ,B(x) 分別為A、B的隸屬函數(shù)（3）什么是模糊關(guān)系及其變換運(yùn)算？(A)模糊關(guān)系：設(shè)U,V為兩個(gè)模糊集,則u,v的笛卡兒乘積集記為：UV=(u,v)|uU,vV, (u,v)是 U,V元素間的一種無(wú)約束搭配，若把這種搭配加某種限制， U,V間的這種特殊關(guān)系叫模糊關(guān)系R。(B)變換運(yùn)算： （4）什么是相似關(guān)系，等價(jià)關(guān)系？（A）相似關(guān)系：具有自反性對(duì)稱(chēng)性的模糊關(guān)系稱(chēng)為相似關(guān)系（或類(lèi)似關(guān)系）；（B）等價(jià)關(guān)系：具有自反性、對(duì)稱(chēng)性、傳遞性的模糊關(guān)系稱(chēng)為等價(jià)關(guān)系。26模糊識(shí)別方法（1）隸屬原則識(shí)別法的基本思想設(shè)： A1, A2,. ,An是E中的n個(gè)模糊子集， x0為E中的一個(gè)元素，若有隸屬函數(shù) i(xo) =max(1(xo), 2(xo),. n(xo),則xo i。 則xoAi 若有了隸屬函數(shù) (x)，我們把隸屬函數(shù)作為判別函數(shù)使用即可。（2）擇近原則識(shí)別法的基本思想（a）貼近度的計(jì)算：（b）設(shè)：E上有n個(gè)模糊子集 及另一模糊子集 。若貼近度27模糊聚類(lèi)分析方法1）基于等價(jià)關(guān)系（1）-水平截陣（2）等價(jià)劃分（1）水