模式識(shí)別復(fù)習(xí)重點(diǎn)總結(jié)Word版

整理為word格式整理為word格式整理為word格式1.什么是模式及模式識(shí)別？模式識(shí)別的應(yīng)用領(lǐng)域主要有哪些？模式：存在于時(shí)間，空間中可觀察的事物，具有時(shí)間或空間分布的信息；模式識(shí)別：用計(jì)算機(jī)實(shí)現(xiàn)人對(duì)各種事物或現(xiàn)象的分析,描述,判斷,識(shí)別。模式識(shí)別的應(yīng)用領(lǐng)域：（1）字符識(shí)別；（2）醫(yī)療診斷；（3）遙感；(4）指紋識(shí)別臉形識(shí)別；（5）檢測污染分析，大氣，水源，環(huán)境監(jiān)測；（6）自動(dòng)檢測；（7）語聲識(shí)別，機(jī)器翻譯，電話號(hào)碼自動(dòng)查詢，偵聽，機(jī)器故障判斷；（8）軍事應(yīng)用。2.模式識(shí)別系統(tǒng)的基本組成是什么？（1）信息的獲?。菏峭ㄟ^傳感器，將光或聲音等信息轉(zhuǎn)化為電信息；預(yù)處理：包括A\D,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等,主要指圖象處理；（3）特征抽取和選擇：在測量空間的原始數(shù)據(jù)通過變換獲得在特征空間最能反映分類本質(zhì)的特征；（4）分類器設(shè)計(jì)：分類器設(shè)計(jì)的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時(shí)，錯(cuò)誤率最低。把這些判決規(guī)則建成標(biāo)準(zhǔn)庫；分類決策：在特征空間中對(duì)被識(shí)別對(duì)象進(jìn)行分類。3.模式識(shí)別的基本問題有哪些？（1）模式(樣本)表示方法：（a）向量表示；（b）矩陣表示；（c）幾何表示；（4）基元(鏈碼)表示；（2）模式類的緊致性：模式識(shí)別的要求:滿足緊致集，才能很好地分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集（3）相似與分類；(a)兩個(gè)樣本xi，xj之間的相似度量滿足以下要求：①應(yīng)為非負(fù)值②樣本本身相似性度量應(yīng)最大③度量應(yīng)滿足對(duì)稱性④在滿足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距離的單調(diào)函數(shù)(b)用各種距離表示相似性（4）特征的生成:特征包括：(a)低層特征;(b)中層特征;(c)高層特征數(shù)據(jù)的標(biāo)準(zhǔn)化:(a)極差標(biāo)準(zhǔn)化；(b)方差標(biāo)準(zhǔn)化4．線性判別方法（1）兩類：二維及多維判別函數(shù)，判別邊界，判別規(guī)則二維情況：（a）判別函數(shù)：()（b）判別邊界：g(x)=0;（c）判別規(guī)則：n維情況：（a）判別函數(shù)：也可表示為：整理為word格式整理為word格式整理為word格式（b）判別邊界：g1(x)=WTX=0（c）判別規(guī)則：（2）多類：3種判別方法（函數(shù)、邊界、規(guī)則）(A)第一種情況：(a)判別函數(shù)：M類可有M個(gè)判別函數(shù)(b)判別邊界：ωi（i=1,2,…,n）類與其它類之間的邊界由gi(x)=0確定(c)判別規(guī)則：(B)第二種情況：(a)判別函數(shù)：有M(M_1)/2個(gè)判別平面(b)判別邊界：(c)判別規(guī)則：(C)第三種情況：(a)判別函數(shù)：(b)判別邊界：gi(x)=gj(x)或gi(x)-gj(x)=0(c)判別規(guī)則：5．什么是模式空間及加權(quán)空間，解向量及解區(qū)？（1）模式空間：由構(gòu)成的n維歐氏空間；（2）加權(quán)空間：以為變量構(gòu)成的歐氏空間；（3）解向量：分界面為H，W與H正交，W稱為解向量；（4）解區(qū)：解向量的變動(dòng)范圍稱為解區(qū)。6．超平面的四個(gè)基本性質(zhì)是什么？性質(zhì)①：W與H正交；性質(zhì)②：整理為word格式整理為word格式整理為word格式其中，為x矢量到H的正交投影；性質(zhì)③：性質(zhì)④：7．二分法能力如何表示？N個(gè)樣品線性可分?jǐn)?shù)目(條件：樣本分布良好）：線性可分概率:8．廣義線性判別方法（1）非線性→線性一個(gè)非線性判別函數(shù)通過映射，變換成線性判別函數(shù)：整理為word格式整理為word格式整理為word格式（2）線性判別9．分段線性判別方法1）基于距離:（1）子類，類判別函數(shù)（2）判別規(guī)則（1）子類：把ωi類可以分成li個(gè)子類:∴分成l個(gè)子類。子類判別函數(shù)：在同類的子類中找最近的均值（2）判別規(guī)則：這是在M類中找最近均值。則把x歸于ωj類完成分類2）基于函數(shù)：（1）子類，類判別函數(shù)（2）判別規(guī)則（1）子類類判別函數(shù)：對(duì)每個(gè)子類定義一個(gè)線性判別函數(shù)為：（2）判別規(guī)則：在各子類中找最大的判別函數(shù)作為此類的代表，則對(duì)于M類，可定義M個(gè)判別函數(shù)gi(x),i=1,2,…..M,因此，決策規(guī)則3）基于凹函數(shù)的并：（1）析取范式，合取范式，凹函數(shù)判別規(guī)則析取范式：P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm)合取范式：Q=(L11∨L12∨…∨L1m)∧…∧(Lq1∨Lq2∨…∨Lqm)凹函數(shù)：Pi=Li1∧Li2∧…∧Lim判別規(guī)則：設(shè)第一類有q個(gè)峰，則有q個(gè)凹函數(shù)。即P=P1∨P2∨……∨Pq10．非線性判別方法（1）集中，分散整理為word格式整理為word格式整理為word格式（2）,均集中11．分類器的設(shè)計(jì)（1）梯度下降法（迭代法）：準(zhǔn)則函數(shù)，學(xué)習(xí)規(guī)則（a）準(zhǔn)則函數(shù)：J(W)≈J(Wk)+▽JT(W-Wk)+(W-Wk)TD(W-Wk)T/2其中D為當(dāng)W=Wk時(shí)J(W)的二階偏導(dǎo)數(shù)矩陣（b）學(xué)習(xí)規(guī)則：從起始值W1開始，算出W1處目標(biāo)函數(shù)的梯度矢量▽J(W1)，則下一步的w值為：W2=W1-ρ1▽J(W1)其中W1為起始權(quán)向量，ρ1為迭代步長，J(W1)為目標(biāo)函數(shù)，▽J(W1)為W1處的目標(biāo)函數(shù)的梯度矢量在第K步的時(shí)候Wk+1=Wk-ρk▽J(Wk)最佳步長為ρk=||▽J||2/▽JTD▽J這就是梯度下降法的迭代公式。（2）感知器法：準(zhǔn)則、學(xué)習(xí)規(guī)則（批量，樣本）（a）準(zhǔn)則函數(shù)：其中x0為錯(cuò)分樣本（b）學(xué)習(xí)規(guī)則：1.錯(cuò)誤分類修正wk如wkTx≤0并且x∈ω1wk+1=wk+ρkx如wkTx≥0并且x∈ω2wk+1=wk-ρkx2.正確分類，wk不修正如wkTx＞0并且x∈ω1如wkTx＜0并且x∈ω2wk+1=wk（3）最小平方誤差準(zhǔn)則法（MSE法）（非迭代法）：準(zhǔn)則、權(quán)向量解(a)準(zhǔn)則函數(shù)：整理為word格式整理為word格式整理為word格式(b)權(quán)向量解：（4）韋—霍氏法（LMS法）（迭代法）：準(zhǔn)則，學(xué)習(xí)規(guī)則(a)準(zhǔn)則函數(shù)：(b)學(xué)習(xí)規(guī)則：W1任意，Wk+1=Wk+ρk(bk-WkTXk)Xkρk隨迭代次數(shù)k而減少，以保證算法收斂于滿意的W值（5）何—卡氏法（H-K法）（迭代法）：準(zhǔn)則，，的學(xué)習(xí)規(guī)則(a)準(zhǔn)則：它的解為：（b）b，W的學(xué)習(xí)規(guī)則：其中c為矯正系數(shù)，ek為誤差矢量，ek=XWk-bk初始條件W1=X+b1并且b1>0迭代時(shí)檢測如果ek≥0時(shí)，XW

>b，系統(tǒng)線性可分，迭代收斂如果ek<0時(shí)，XW

<b，系統(tǒng)線性不可分，迭代不收斂（6）Fisher分類法：準(zhǔn)則函數(shù)的建立，權(quán)值計(jì)算，的選擇(a)準(zhǔn)則函數(shù)的建立：投影樣本之間的類間分離性越大越好，投影樣本的總離散度越小越好。即可表示為：其中Sw為類內(nèi)散布矩陣,Sb為類間散布矩陣(b)W權(quán)值計(jì)算：整理為word格式整理為word格式整理為word格式(c)W0的選擇：Yki表示第i類中第k個(gè)樣本的投影值N1為ω1樣本數(shù)N2為ω2樣本數(shù)

（7）電位函數(shù)分類器：電位函數(shù)，累積電位的計(jì)算(a)電位函數(shù)：電位分布函數(shù)有如下三種形式：α為系數(shù)xk為某一特定點(diǎn)(b)累計(jì)電位的計(jì)算：Kk+1(x)=Kk(x)+rk+1K(x,xk)其中：xk+1∈ω1并且Kk(xk+1)>0時(shí)rk+1=0xk+1∈ω1并且Kk(xk+1)≤0時(shí)rk+1=1xk+1∈ω2并且Kk(xk+1)<0時(shí)rk+1=0xk+1∈ω2并且Kk(xk+1)≥0時(shí)rk+1=-112．1）二類問題的貝葉斯判別（1）判別函數(shù)的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結(jié)構(gòu)（1）判別函數(shù)的四種形式：（2）判別規(guī)則：整理為word格式整理為word格式整理為word格式（3）決策面方程：g（x）=0（4）決策系統(tǒng)的結(jié)構(gòu)（A）向量特征（B）判別計(jì)算（C）閾值單元（D）決策2）多類問題的貝葉斯判別（1）判別函數(shù)的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結(jié)構(gòu)（1）判別函數(shù)的四種形式：M類有M個(gè)判別函數(shù)g1(x),g2(x),…,gm(x).（2）決策規(guī)則：另一種形式：（3）決策面方程：（4）決策系統(tǒng)的結(jié)構(gòu)：(a)特征向量；(b)判別計(jì)算；(c)最大選擇器；(d)決策整理為word格式整理為word格式整理為word格式13．三種最小錯(cuò)誤率貝葉斯分類器（正態(tài)分布）：判別函數(shù)，判別規(guī)則，決策面方程（1）第一種情況：各個(gè)特征統(tǒng)計(jì)獨(dú)立，且同方差情況。(最簡單情況)(a)判別函數(shù)：(b)判別規(guī)則：(c)決策面方程：（2）第二種情況：Σi＝Σ相等，即各類協(xié)方差相等。(a)判別函數(shù)：(b)判別規(guī)則：(c)決策面方程：（3）第三種情況(一般情況)：Σ?為任意，各類協(xié)方差矩陣不等，二次項(xiàng)xTΣ?x與i有關(guān)。所以判別函數(shù)為二次型函數(shù)。(a)判別函數(shù)：(b)判別規(guī)則：整理為word格式整理為word格式整理為word格式(c)決策面方程：14．最小風(fēng)險(xiǎn)貝葉斯分類器：判別函數(shù)，判別規(guī)則（1）判別函數(shù)：條件風(fēng)險(xiǎn)：αi：表示把模式x判決為ωi類的一次動(dòng)作期望風(fēng)險(xiǎn)：（2）判別規(guī)則：：15．聶曼—皮爾遜判決：（二類）：準(zhǔn)則，判別規(guī)則，閾值的確定（1）準(zhǔn)則：（2）判別規(guī)則：（3）閾值的確定：16．最小最大損失準(zhǔn)則判決（二類）：準(zhǔn)則，判別規(guī)則，的確定（1）準(zhǔn)則：討論在P(ωi)變化時(shí)如何使最大可能風(fēng)險(xiǎn)最??；（2）判別規(guī)則：風(fēng)險(xiǎn)通過最小風(fēng)險(xiǎn)與先驗(yàn)概率的關(guān)系曲線，確定最大風(fēng)險(xiǎn)，使最大風(fēng)險(xiǎn)最小。（3）的確定：17．什么是序貫分類？序貫：隨著時(shí)間的推移可以得到越來越多的信息。序貫分類決策規(guī)則整理為word格式整理為word格式整理為word格式18．什么是參數(shù)估計(jì)，非參數(shù)估計(jì)，監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)？參數(shù)估計(jì)：先假定研究的問題具有某種數(shù)學(xué)模型，如正態(tài)分布，二項(xiàng)分布，再用已知類別的學(xué)習(xí)樣本估計(jì)里面的參數(shù)；非參數(shù)估計(jì)：不假定數(shù)學(xué)模型，直接用已知類別的學(xué)習(xí)樣本的先驗(yàn)知識(shí)直接估計(jì)數(shù)學(xué)模型；監(jiān)督學(xué)習(xí)：在已知類別樣本指導(dǎo)下的學(xué)習(xí)和訓(xùn)練，參數(shù)估計(jì)和非參數(shù)估計(jì)都屬于監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí)：不知道樣本類別，只知道樣本的某些信息去估計(jì)，如：聚類分析。19．（1）最大似然估計(jì)算法思想：準(zhǔn)則，求解過程（1）準(zhǔn)則：第i類樣本的類條件概率密度：P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原屬于i類的學(xué)習(xí)樣本為Xi=(X1,X2,…XN,)Ti=1,2,…M求θi的最大似然估計(jì)就是把P(Xi/θi)看成θi的函數(shù)，求出使它最大時(shí)的θi值（2）求解過程：∵學(xué)習(xí)樣本獨(dú)立從總體樣本集中抽取的N個(gè)學(xué)習(xí)樣本出現(xiàn)概率的乘積取對(duì)數(shù)：對(duì)θi求導(dǎo),并令它為0：（2）正態(tài)分布情況下：,的計(jì)算整理為word格式整理為word格式整理為word格式①∑已知,μ未知,估計(jì)μ②∑，μ均未知A一維情況：n=1對(duì)于每個(gè)學(xué)習(xí)樣本只有一個(gè)特征的簡單情況：即學(xué)習(xí)樣本的算術(shù)平均樣本方差B多維情況：n個(gè)特征估計(jì)值：20．（1）貝葉斯估計(jì)算法思想：準(zhǔn)則，求解過程(A)準(zhǔn)則：通過對(duì)第i類學(xué)習(xí)樣本Xi的觀察，使概率密度分布P(Xi/θ)轉(zhuǎn)化為后驗(yàn)概率P(θ/Xi)，再求貝葉斯估計(jì)；(B)求解過程：①確定θ的先驗(yàn)分布P(θ),待估參數(shù)為隨機(jī)變量。②用第i類樣本xi=(x1,x2,….xN)T求出樣本的聯(lián)合概率密度分布P(xi|θ)，它是θ的函數(shù)。③

利用貝葉斯公式,求θ的后驗(yàn)概率

④（2）正態(tài)分布情況下：的計(jì)算對(duì)μ的估計(jì)為若令P(μ)=N(μ0,σ02)=N(0,1)21．（1）貝葉斯學(xué)習(xí)概念求出μ的后驗(yàn)概率之后，直接去推導(dǎo)總體分布即當(dāng)N↑,μN(yùn)就反映了觀察到N個(gè)樣本后對(duì)μ的最好推測，而σN2反映了這種推測的不確定性,N↑,σN2↓,σN2隨觀察樣本增加而單調(diào)減小，且當(dāng)N→∞,σN2→0當(dāng)N↑，P(μ|xi)越來越尖峰突起；N→∞,P(μ|xi)→σ函數(shù)，這個(gè)過程成為貝葉斯學(xué)習(xí)。整理為word格式整理為word格式整理為word格式（2）正態(tài)分布情況下的計(jì)算(A)一維正態(tài)：已知σ2，μ未知(B)多維正態(tài)（已知Σ，估計(jì)μ）：22．非參數(shù)估計(jì)的條件密度計(jì)算公式（1）Parzen窗口估計(jì)的三種形式，條件密度的計(jì)算（A）窗口的選擇：（A）方窗函數(shù)；（B）正態(tài)窗函數(shù)；（C）指數(shù)窗函數(shù)（B）條件密度的計(jì)算：（2）K-近鄰估計(jì)的基本思想及用K-近鄰法作后驗(yàn)概率估計(jì)的方法（A）基本思想：以x為中心建立空胞，使v↑，直到捕捉到KN個(gè)樣本為止。（B）用K-近鄰法作后驗(yàn)概率估計(jì)的方法：由KN近鄰估計(jì)知N個(gè)已知類別樣本落入VN內(nèi)為KN個(gè)樣本的概率密度估計(jì)為整理為word格式整理為word格式整理為word格式N個(gè)樣本落入VN內(nèi)有KN個(gè)，KN個(gè)樣本內(nèi)有Ki個(gè)樣本屬于ωi類，則聯(lián)合概率密度：根據(jù)Bayes公式可求出后驗(yàn)概率：分類與聚類的區(qū)別是什么？分類：用已知類別的樣本訓(xùn)練集來設(shè)計(jì)分類器（監(jiān)督學(xué)習(xí)）；聚類（集群）：用事先不知樣本的類別，而利用樣本的先驗(yàn)知識(shí)來構(gòu)造分類器（無監(jiān)督學(xué)習(xí)）。24．（1）聚合聚類（系統(tǒng)聚類）的算法思想：先把每個(gè)樣本作為一類，然后根據(jù)它們間的相似性和相鄰性聚合。若有n個(gè)樣本：（A）設(shè)全部樣本分為n類；（B）作距離矩陣D(0)；（C）求最小元素；（D）將距離平方最小的元素歸為一類；（E）以新類從新分類，作距離矩陣D(1)；（F）若合并的類數(shù)沒有達(dá)到要求，轉(zhuǎn)（C），否則停止。（2）分解聚類的算法思想：把全部樣本作為一類，然后根據(jù)相似性、相鄰性分解。目標(biāo)函數(shù)：兩類均值方差N：總樣本數(shù)，：ω1類樣本數(shù)：ω2類樣本數(shù)，（3）動(dòng)態(tài)聚類的算法（K-均值算法）①先選定某種距離作為樣本間的相似性的度量;整理為word格式整理為word格式整理為word格式②確定評(píng)價(jià)聚類結(jié)果的準(zhǔn)則函數(shù);③給出某種初始分類，用迭代法找出使準(zhǔn)則函數(shù)取極值的最好的聚類結(jié)果。25．（1）什么是模糊集，-水平截集？（A）模糊集：假設(shè)論域E={x}（討論的區(qū)間），模糊集A是由隸屬函數(shù)μA(x)描述。其中，μA(x)是定義在E上在閉區(qū)間{0，1}中取值的一個(gè)函數(shù)，反映x對(duì)模糊集的隸屬程度。（B）-水平截集：設(shè)A為E=（x）中的模糊集，則A={x|μA(x)≥α}稱為模糊集A的α水平集，α為閾值在（0，1）間取值。（2）什么是模糊集的并，交，補(bǔ)運(yùn)算？設(shè)：A,B為E=（x）上的兩個(gè)模糊集并集:μA∪B(x)＝max(μA(x),μB(x))交集:μA∩B(x)＝min(μA(x),μB(x))補(bǔ)集:=1-μA(x),μA(x),μB(x)分別為A、B的隸屬函數(shù)（3）什么是模糊關(guān)系及其變換運(yùn)算？(A)模糊關(guān)系：設(shè)U,V為兩個(gè)模糊集,則u,v的笛卡兒乘積集記為：U×V={(u,v)|u∈U,v∈V},(u,v)是U,V元素間的一種無約束搭配，若把這種搭配加某種限制，U,V間的這種特殊關(guān)系叫模糊關(guān)系R。(B)變換運(yùn)算：