[模式識(shí)別]期末考試復(fù)習(xí)資料

1、 題型：填空題填空題5題名詞解釋4題問(wèn)答題4題計(jì)算作圖題3題綜合計(jì)算題1題備注1:沒(méi)有整理第一章和第六章，老師說(shuō)不考的備注2：非線性判別函數(shù)相關(guān)概念P69概率相關(guān)定義、性質(zhì)、公式P83以后最小錯(cuò)誤率貝葉斯決策公式P85最小風(fēng)險(xiǎn)貝葉斯P86正態(tài)貝葉斯P90綜合計(jì)算有可能是第六次作業(yè)一、填空題物以類聚人以群分體現(xiàn)的是塞型逝的基本思想。模式識(shí)別分類：1.從實(shí)現(xiàn)方法來(lái)分模式識(shí)別分為監(jiān)督分類和非監(jiān)督分類;2從理論上來(lái)分，有統(tǒng)計(jì)模式識(shí)別，統(tǒng)計(jì)模式識(shí)別，模糊模式識(shí)別，神經(jīng)網(wǎng)絡(luò)模式識(shí)別法聚類分析是按照不同對(duì)象之間的差異，根據(jù)距離函數(shù)的規(guī)律做模式分類的。模式的特性：可觀察性、可區(qū)分性、相似性模式識(shí)別的任務(wù)：一是

2、研究生物體（包括人）是如何感知對(duì)彖的，二是如何用計(jì)算機(jī)實(shí)現(xiàn)模式識(shí)別的理論和方法。計(jì)算機(jī)的發(fā)展方向：1神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)一一模擬人的人腦思維；2.生物計(jì)算機(jī)一一運(yùn)用生物工程技術(shù)、蛋白分子作芯片;3.光計(jì)算機(jī)一一用光作為信息載體，通過(guò)對(duì)光的處理來(lái)完成對(duì)信息的處理。訓(xùn)練學(xué)習(xí)方法：監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)（無(wú)先驗(yàn)知識(shí)，甚至類別數(shù)也未知）。統(tǒng)計(jì)模式識(shí)別有：1聚類分析法（非監(jiān)督）；2.判決函數(shù)法/幾何分類法（監(jiān)督）；3.基于統(tǒng)計(jì)決策的概率分類法-以模式集在特征空間中分布的類概率密度函數(shù)為基礎(chǔ)，對(duì)總體特征進(jìn)行研究，以取得分類的方法數(shù)據(jù)的標(biāo)準(zhǔn)化目的：消除各個(gè)分量之間數(shù)值范圍大小對(duì)算法的影響模式識(shí)別系統(tǒng)的基本構(gòu)成：書(shū)P

3、7聚類過(guò)程遵循的基本步驟：特征選擇：近鄰測(cè)度；聚類準(zhǔn)則；聚類算法：結(jié)果驗(yàn)證；結(jié)呆判定。相似測(cè)度基礎(chǔ)：以兩矢量的方向是否相近作為考慮的基礎(chǔ)，矢量長(zhǎng)度并不重要。確定聚類準(zhǔn)則的兩種方式：閾值準(zhǔn)則，函數(shù)準(zhǔn)則基于距離閾值的聚類算法一一分解聚類：近鄰聚類法；最人最小距離聚類法類間距離計(jì)算準(zhǔn)則：1）最短距離法2）最長(zhǎng)距離法3）中間距離法4）重心法5）類平均距離法6）離差平方和法P24系統(tǒng)聚類法一一合并的思想用于隨機(jī)模式分類識(shí)別的方法，通常稱為貝葉斯判決。BAYES決策常用的準(zhǔn)則：最小錯(cuò)誤率；最小風(fēng)險(xiǎn)錯(cuò)誤率的計(jì)算或估計(jì)方法：按理論公式計(jì)算：計(jì)算錯(cuò)誤率上界：實(shí)驗(yàn)估計(jì)。1名詞解釋名詞解釋相似性測(cè)度：衡量模式之間相

4、似性的一種尺度明氏距離：P17當(dāng)n=2時(shí)，明氏距離為歐氏距離。當(dāng)時(shí)：絕對(duì)距離（曼哈頓距離）稱為“街坊”距離感知器算法：就是通過(guò)訓(xùn)練樣本模式的迭代和學(xué)習(xí)，產(chǎn)生線性（或廣義線性）可分的模式判別函數(shù)。梯度:P59感知器P227模糊度P182清晰性P182含混性近似性隨機(jī)性模式：對(duì)客體（研究對(duì)象）特征的描述（定量的或結(jié)構(gòu)的）,是取自客觀世界的某一樣本的測(cè)量值的集合（或綜合）模式所指的不是事物本身，而是從事物獲得的信息。模式識(shí)別：確定一個(gè)樣本的類別屬性（模式類）的過(guò)程，即把某一樣本歸屬于多個(gè)類型中的某個(gè)類型。模式類：具有某些共同特性的模式的集合。特征選擇：在原始特征基礎(chǔ)上選擇一些主要特征作為判別用的特征

5、。特征提?。翰捎媚撤N變換技術(shù)，得出數(shù)目上比原來(lái)少的綜合特征作為分類用。特征抽取：通過(guò)各種手段從原始數(shù)據(jù)中得出反映分類問(wèn)題的若干特征（有時(shí)需進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化）特征空間：進(jìn)行模式分類的空間。特征向量：用n維列向量來(lái)表示一個(gè)（模式）樣本，說(shuō)明該樣本具有n個(gè)數(shù)字特征x=（xl,x2,，xn）T常稱之為特征向量。人工智能：是研究如何將人的智能轉(zhuǎn)化為機(jī)器智能，或者是用機(jī)器來(lái)模擬或?qū)崿F(xiàn)人的智能。聚類分析：根據(jù)模式之間的相似性（相鄰性）對(duì)模式進(jìn)行分類，是一種非監(jiān)督分類方法。聚類準(zhǔn)則：根據(jù)相似性測(cè)度確定的，衡量模式之間是否相似的標(biāo)準(zhǔn)。即把不同模式聚為一類還是歸為不同類的準(zhǔn)則一-同一類模式相似程度的標(biāo)準(zhǔn)或不同類模式

6、差異程度的標(biāo)準(zhǔn)。聚類準(zhǔn)則函數(shù)：丿=zk-聚類準(zhǔn)則函數(shù)：在聚類分析中，表示模式類內(nèi)相似或類間差異性的函數(shù)。ZE相似度：衡量模式之間相似程度的尺度。相似性測(cè)度：衡量模式之間相似性的一種尺度。歐氏距離（簡(jiǎn)稱距離）：P15馬氏距離：P15明氏距離：P17當(dāng)m=2時(shí)，明氏距離為歐氏距離。當(dāng)m=l時(shí)：絕對(duì)距離（曼哈頓距離）稱為“街坊”距離漢明（Hamming）距離:P17判別函數(shù)：直接用來(lái)對(duì)模式進(jìn)行分類的準(zhǔn)則函數(shù)。感知器算法：就是通過(guò)訓(xùn)練樣本模式的迭代和學(xué)習(xí)，產(chǎn)生線性（或廣義線性）可分的模式判別函數(shù)。梯度：P59分類器的正確率：指分類器正確分類的項(xiàng)目占所有被分類項(xiàng)目的比率。過(guò)擬合：高維空河訓(xùn)練形成的分類器

7、，相當(dāng)于在低維空間的一個(gè)復(fù)雜的非線性分類器，這種分類器過(guò)多的強(qiáng)調(diào)了訓(xùn)練集的準(zhǔn)確率甚至于對(duì)一些錯(cuò)誤/異常的數(shù)據(jù)也進(jìn)行了學(xué)習(xí)，而正確的數(shù)據(jù)卻無(wú)法覆蓋整個(gè)特征空間。為此，這樣得到的分類器在對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)將會(huì)出現(xiàn)錯(cuò)誤。這種現(xiàn)象稱之為過(guò)擬合，同時(shí)也是維數(shù)災(zāi)難的直接體現(xiàn)。 問(wèn)答題2.問(wèn)答題統(tǒng)計(jì)模式識(shí)別的優(yōu)缺點(diǎn)：主要優(yōu)點(diǎn)：1）比較成熟2）能考慮干擾噪聲等影響3）識(shí)別模式基元能力強(qiáng)主要缺點(diǎn)：1）對(duì)結(jié)構(gòu)復(fù)雜的模式抽取特征困難2）不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)3）難以從整體角度考慮識(shí)別問(wèn)題句法模式識(shí)別優(yōu)缺點(diǎn)：主要優(yōu)點(diǎn)：1）識(shí)別方便，可以從簡(jiǎn)單的基元開(kāi)始，由簡(jiǎn)至繁。2）能反映模式的結(jié)構(gòu)特征，能描述模

8、式的性質(zhì)。3）對(duì)圖彖畸變的抗干擾能力較強(qiáng)。主要缺點(diǎn)：當(dāng)存在干擾及噪聲時(shí)，抽取特征基元困難，且易失誤。模糊模式識(shí)別優(yōu)缺點(diǎn)：主要優(yōu)點(diǎn)：由于隸屬度函數(shù)作為樣本與模板間相似程度的度量，故往往能反映整體的與主體的特征，從而允許樣本有相當(dāng)程度的干擾與畸變。主要缺點(diǎn)：準(zhǔn)確合理的隸屬度函數(shù)往往難以建立，故限制了它的應(yīng)用。神經(jīng)網(wǎng)絡(luò)模式識(shí)別法優(yōu)缺點(diǎn)：主要優(yōu)點(diǎn)：可處理一些環(huán)境信息十分復(fù)雜，背景知識(shí)不清楚，推理規(guī)則不明確的問(wèn)題。允許樣本有較大的缺損、畸變。主要缺點(diǎn)：模型在不斷豐富與完善中，目前能識(shí)別的模式類還不夠多。分類與聚類的區(qū)別：分類：用已知類別的樣本訓(xùn)練集來(lái)設(shè)計(jì)分類器（監(jiān)督學(xué)習(xí)），由學(xué)習(xí)過(guò)程和識(shí)別過(guò)程兩部分組成

9、，且用于學(xué)習(xí)的樣本類別是已知的。聚類（集群）：事先不知樣本的類別，而利用樣本的先驗(yàn)知識(shí)來(lái)構(gòu)造分類器（無(wú)監(jiān)督學(xué)習(xí)）。馬氏距離的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：它不受量綱的影響，兩點(diǎn)之間的馬氏距離與原始數(shù)據(jù)的測(cè)量單位無(wú)關(guān)；由標(biāo)準(zhǔn)化數(shù)據(jù)和中心化數(shù)據(jù)（即原始數(shù)據(jù)與均值之差）計(jì)算出的二點(diǎn)之間的馬氏距離相同：馬氏距離還可以排除變量之間的相關(guān)性的干擾；滿足距離的四個(gè)基本公理：非負(fù)性、自反性、對(duì)稱性和三角不等式。缺點(diǎn)：有可能夸人變化微小的變量的作用：協(xié)方差不易計(jì)算近鄰聚類法優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單（一種雖粗糙但快速的方法）。局限性：聚類過(guò)程中，類的中心一旦確定將不會(huì)改變，模式一旦指定類后也不再改變。聚類結(jié)果很犬程度上依賴于第一個(gè)

10、聚類中心的位置選擇、待分類模式樣本的排列次序、距離閾值T的人小以及樣本分布的幾何性質(zhì)等。最大最小距離算法（小中取大距離算法）：算法思想：在模式特征矢量集中以最人距離原則選取新的聚類中心。以最小距離原則進(jìn)行模式歸類，通常使用歐式距離。層次聚類法（系統(tǒng)聚類法、分級(jí)聚類法）：思路：每個(gè)樣本先自成一類，然后按距離準(zhǔn)則逐步合并，減少類數(shù)。動(dòng)態(tài)聚類的基本步驟：建立初始聚類中心，進(jìn)行初始聚類；計(jì)算模式和類的距離，調(diào)整模式的類別；計(jì)算各聚類的參數(shù)，刪除、合并或分裂一些聚類；從初始聚類開(kāi)始，運(yùn)用迭代算法動(dòng)態(tài)地改變模式的類別和聚類的中心使準(zhǔn)則函數(shù)取得極值或設(shè)定的參數(shù)達(dá)到設(shè)計(jì)要求時(shí)停止。ISODATA與K均值算法比

11、較：相似：聚類中心的位置均通過(guò)樣本均值的迭代運(yùn)算決定。相異：K-均值算法的聚類中心個(gè)數(shù)不變；ISODATA的聚類中心個(gè)數(shù)變化。ISODATA基本思路：（1）選擇初始值一一包括若干聚類中心及一些指標(biāo)?？稍诘\(yùn)算過(guò)程中人為修改，據(jù)此將N個(gè)模式樣本分配到各個(gè)聚類中心去。（2）按最近鄰規(guī)則進(jìn)行分類。（3）聚類后的處理：計(jì)算各類中的距離函數(shù)等指標(biāo)，按照給定的要求，將前次獲得的聚類集進(jìn)行分裂或合并處理，以獲得新的聚類中心，即調(diào)整聚類中心的個(gè)數(shù)。（4）判斷結(jié)果是否符合要求：符合，結(jié)束；否則，回到（2）。不同聚類算法比較:算法基本思想聚類中心個(gè)數(shù)樣本歸類聚類結(jié)果對(duì)初始中心選擇類中心類間距離其他特點(diǎn)分解聚類近

12、鄰分裂單調(diào)變化，閾值確定不變敏感不變否模式樣本的幾何分布性質(zhì)影響均存在！排列次序或讀入次序的影響不可忽視。最大最小距離不變不敏感不變否系統(tǒng)聚類層級(jí)聚類合并同上變化不敏感變化需要?jiǎng)討B(tài)聚類K-均值兼顧指定，不變變化敏感變化否ISODATA變化變化不敏感變化需要線性判別函數(shù)的特點(diǎn):形式簡(jiǎn)單，容易學(xué)習(xí)：用于線性可分的模式類。分段線性判別函數(shù)特點(diǎn)：相對(duì)簡(jiǎn)單；能逼近各種形狀的超曲面。一維正態(tài)曲線的性質(zhì)：（1）曲線在X軸的上方，與X軸不相交。（2）曲線關(guān)于直線x=u對(duì)稱。（3）當(dāng)X=M時(shí)，曲線位于最高點(diǎn)。（4）當(dāng)XU時(shí)，曲線下降.并且當(dāng)曲線向左、右兩邊無(wú)限延伸時(shí)，以X軸為漸近線，向它無(wú)限靠近。（5）U定時(shí)，

13、曲線的形狀由c確定。越大，曲線越“矮胖”，表示總體的分布越分散；c越小。曲線越“瘦高”。表示總體的分布越集中。特征選擇和提取的目的：經(jīng)過(guò)選擇或變換，組成識(shí)別特征，盡可能保留分類信息，在保證一定分類精度的前提下，減少特征維數(shù)，使分類器的工作既快又準(zhǔn)確。K-L變換進(jìn)行特征提取的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：變換在均方誤差最小的意義卞使新樣本集X*逼近原樣本集X的分布，既壓縮了維數(shù)又保留了類別鑒別信息。變換后的新模式向屋各分量相對(duì)總體均值的方差等于原樣本集總體自相關(guān)矩陣的人特征值，表明變換突出了模式類之間的差異性。C*為對(duì)角矩陣說(shuō)明了變換后樣本各分量互不相關(guān)，亦即消除了原來(lái)特征之間的相關(guān)性，便于進(jìn)一步進(jìn)行特征的選擇

14、。缺點(diǎn)：對(duì)兩類問(wèn)題容易得到較滿意的結(jié)果。類別愈多，效果愈差。需要通過(guò)足夠多的樣本估計(jì)樣本集的協(xié)方差矩陣或其它類型的散布矩陣。當(dāng)樣本數(shù)不足時(shí)，矩陣的估計(jì)會(huì)變得十分粗略,變換的優(yōu)越性也就不能充分的地顯示出來(lái)。計(jì)算矩陣的本征值和本征向量缺乏統(tǒng)一的快速算法，給計(jì)算帶來(lái)困難。 計(jì)算作圖題層次聚類分析：(此處為例題).o“217.4.e3計(jì)算作圖題最大最小距離算法(小中取大距離算法)：計(jì)算按照P22的例2.1來(lái)最短距離準(zhǔn)則進(jìn)行系統(tǒng)聚類分類：P25例2.2設(shè)全部樣本分為6類作距離矩陣D(0)求最小元素GGg2g,G4iiiai厶4x123丄56789把31,33合并37=(1,3);34、36合并38=(4,6)作距離矩陣D(l)若合并的類數(shù)沒(méi)有達(dá)到要求，轉(zhuǎn)(3),否則停止求最小元素3&35，32合并，39=(2,5,4、6)如無(wú)閾值要求，直至最后歸為一類310K均值算法P28例2.3判別函數(shù)：P40第一種：例3.1&3.