模式識別導(dǎo)論

1、2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院1模式識別模式識別Pattern Recognition2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院2聯(lián)系方式n劉波nEmail: 2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院3教材與參考書教材與參考書o（一）推薦教材（一）推薦教材 邊肇祺邊肇祺,張學(xué)工張學(xué)工模式識別模式識別（第二版，第三版）（第二版，第三版） 北京：清華大學(xué)出版社，北京：清華大學(xué)出版社，2000（2010）。）。o（二）參考書（二）參考書 1.Richard O.Duda,Peter E.Hart,David G.Stork 模式分類（第二版）模式分類（第二版） 北京：北京：

2、機(jī)械工業(yè)出版社機(jī)械工業(yè)出版社 2003.9 2.Sergios Theodoridis 模式識別（第二版翻譯）北京：電子工業(yè)出版社模式識別（第二版翻譯）北京：電子工業(yè)出版社2004.8 3. J.P. Marques de sa模式識別原理、方法及應(yīng)用模式識別原理、方法及應(yīng)用，北京：清華大學(xué)出，北京：清華大學(xué)出版社，版社，2002。 4. 楊光正等楊光正等模式識別模式識別， 北京：中國科學(xué)科技大學(xué)出版社，北京：中國科學(xué)科技大學(xué)出版社，2003。2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院4相關(guān)的國內(nèi)、國際學(xué)術(shù)組織相關(guān)的國內(nèi)、國際學(xué)術(shù)組織o1973年 IEEE發(fā)起了第一次關(guān)于模式識別的國際會議

3、“ICPR”，成立了國際模式識別協(xié)會-“IAPR”，每2年召開一次國際學(xué)術(shù)會議。o1977年 IEEE的計算機(jī)學(xué)會成立了模式分析與機(jī)器智能（PAMI）委員會，每2年召開一次模式識別與圖象處理學(xué)術(shù)會議。o國內(nèi)的組織有電子學(xué)會，通信學(xué)會，自動化協(xié)會，中文信息學(xué)會.。本領(lǐng)域相關(guān)期刊o外文期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI);o中文期刊：模式識別與人工智能，中國自動化學(xué)會等主辦，月刊2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院5學(xué)習(xí)及考核o相關(guān)背景n概率論，n線性代數(shù)（矩陣計算）o考核方式n筆試

4、（閉卷）n各教學(xué)環(huán)節(jié)占總分的比例：平時成績占40%，期末考試成績占60%2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院62021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院7第一章第一章 概論概論 1-1 模式識別的基本概念模式識別的基本概念o模式識別廣泛存在于我們的日常生活中，我模式識別廣泛存在于我們的日常生活中，我們幾乎每時每刻都在進(jìn)行模式識別們幾乎每時每刻都在進(jìn)行模式識別n人們在觀察各種事物或接受各種客觀現(xiàn)象的時人們在觀察各種事物或接受各種客觀現(xiàn)象的時候，常把它們分成由各個相似的但又不完全相候，常把它們分成由各個相似的但又不完全相同的事物或現(xiàn)象組成的類別，幾乎每一項(xiàng)活動同的事物或現(xiàn)象組成的類別

5、，幾乎每一項(xiàng)活動都離不開對外界事物的分類和識別。都離不開對外界事物的分類和識別。n比如，我們今天來這里上課就要先識別課表比如，我們今天來這里上課就要先識別課表（字符識別），來教室的路線（環(huán)境識別），（字符識別），來教室的路線（環(huán)境識別），以及教室的識別（數(shù)字識別）等等，聽課（聲以及教室的識別（數(shù)字識別）等等，聽課（聲音識別）；音識別）；2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院8人和動物都具有模式識別的能力人和動物都具有模式識別的能力o人腦具有模式識別的能力人腦具有模式識別的能力n比如，字母比如，字母“B”可以有各種各樣的寫法，但是他們都可以有各種各樣的寫法，但是他們都屬于同一類別。更重要

6、的是，即使有某個寫法屬于同一類別。更重要的是，即使有某個寫法“B”，人們過去從未見過，也很容易把它分到人們過去從未見過，也很容易把它分到“B”這個類別這個類別中去。中去。n又比如，我們今天見到的張三和上次見到的張三已經(jīng)又比如，我們今天見到的張三和上次見到的張三已經(jīng)不完全相同，但我們?nèi)匀荒軌蛘_地識別不完全相同，但我們?nèi)匀荒軌蛘_地識別o除了人，很多動物也具有一定的模式識別能力除了人，很多動物也具有一定的模式識別能力n蝙蝠的雷達(dá)系統(tǒng)蝙蝠的雷達(dá)系統(tǒng)n夠看到主人會搖頭擺尾，見到生人會狂吠不止夠看到主人會搖頭擺尾，見到生人會狂吠不止n為了生存，最低等的動物也要識別食物和敵害，并做為了生存，最低等的動物

7、也要識別食物和敵害，并做出不同的反應(yīng)出不同的反應(yīng)2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院9模式的概念模式的概念n 模式(pattern)l代表事物的模板或原型；l表征事物特點(diǎn)的特征或性狀的組合；l模式是一種規(guī)律，可以看作是對象的組成部分或影響因素間存在的規(guī)律性關(guān)系，或者是因素間存在確定性或隨機(jī)性規(guī)律的對象，過程或事件的集合；l廣義地說，存在于時間和空間中可觀察的事物，如果我們可以區(qū)分它們是否相同或是否相似，都可以稱之為模式；l模式所指的不是事物本身，而是我們從事物獲得的信息l模式往往表現(xiàn)為具有時間或空間分布的信息 模式的概念（續(xù)）o模式（pattern）n凡是人類能用其感官直接或間接接受

8、的外界信息都稱為模式，例如o文字，圖片，景物，聲音，語言；o心電圖，腦電圖，地震波；o社會經(jīng)濟(jì)現(xiàn)象，某個系統(tǒng)的狀態(tài)；n模式的直觀特性o可觀察性o可區(qū)分性o相似性2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院10模式識別的概念o模式識別（Pattern Recognition）n把對象分門別類地認(rèn)出來；n對以前見過的對象的再認(rèn)識（re-cognition）；n對模式的區(qū)分和認(rèn)識；n把對象根據(jù)其特征歸到若干類別中適當(dāng)?shù)囊活悾虼四Ｊ阶R別也稱為模式分類（pattern classification）n對于復(fù)雜的模式除了分類之外還要描述其結(jié)構(gòu)特征，如 漢字識別和景物識別2021-11-25西安電子科技

9、大學(xué)計算機(jī)學(xué)院11模式識別應(yīng)用舉例2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院12o人民幣防偽技術(shù)一直是模式識別應(yīng)用領(lǐng)域之一，而欺騙這些防偽措施一直是偽造集團(tuán)的努力方向。據(jù)說（沒有驗(yàn)證過，為相關(guān)公司人員提供）早期投幣電話是通過投幣之后落入內(nèi)部的聲音來判斷投幣是何幣種。這個策略是抓住了不同幣值的硬幣在相同的條件下造成的聲音差異來區(qū)分幣種，是一種簡單的必要條件識別法。據(jù)說一個聰明的學(xué)生偶爾有一次在北京學(xué)院路的一個投幣電話上發(fā)現(xiàn)了這個規(guī)律，聰明的學(xué)生拿著一個錄音機(jī)，播放類似的硬幣掉落的聲音，居然可以欺騙電話。當(dāng)這個策略公開的時候，由于偽造的代價特當(dāng)這個策略公開的時候，由于偽造的代價特別低，導(dǎo)致該方

10、法的迅速失效。別低，導(dǎo)致該方法的迅速失效。o 故事還沒有結(jié)束，后來又發(fā)明了稱重法。就是內(nèi)置一個尺寸測量加上稱重裝置，根據(jù)硬幣的大小和重量的范圍，判斷是不是硬幣，是什么幣種。這種方法就比原來好很多，但是依然沒有解決真正的造假問題。假幣集團(tuán)發(fā)現(xiàn)硬幣（一元硬幣）內(nèi)部是貴金屬，于是他們就想法用廉價的鉛替換內(nèi)部的重金屬，以較低的代價獲得更高的價值，據(jù)說東南某省的一個造假作坊短期內(nèi)就賺取了幾百萬。尺寸加重量也不能擋住造假的手段。于是，在后來的機(jī)器上，越來越多的傳感器被裝進(jìn)去，包括磁性等，以獲得越來越多硬幣的各種物理和化學(xué)屬性，提高識別的精確性。2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院132021-1

11、1-25西安電子科技大學(xué)計算機(jī)學(xué)院14模式識別的基本術(shù)語模式識別的基本術(shù)語o樣本（sample）:所研究對象的一個個體o樣本集（sample set）:若干樣本的集合o類或類別（class）:在所有樣本上定義的一個子集，處于同一類的樣本在我們所關(guān)心的性質(zhì)上是不可區(qū)分的，即具有相同的模式o特征（feature）:用于表征樣本的觀測信息，通常是數(shù)值表示的，有時也稱為屬性（attribute）；如果是高維則稱為特征向量，樣本的特征（向量）構(gòu)成了特征空間，每個樣本是特征空間中的一個點(diǎn)；模式識別的基本術(shù)語o已知樣本（known sample）:事先知道類別標(biāo)號的樣本（訓(xùn)練樣本）；o未知樣本（unknow

12、n sample）:類別標(biāo)號未知但特征已知的樣本（待識別的樣本）2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院152021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院16模式識別的研究內(nèi)容模式識別的研究內(nèi)容oPattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the catego

13、ries of the patterns. (Anil K. Jain)o利用計算機(jī)對物理對象進(jìn)行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。模式識別的目標(biāo)o研究出能自動進(jìn)行模式分類和描述的機(jī)器系統(tǒng)，以完成人類的模式識別的功能。這同人工智能范疇的其他分支的目標(biāo)是一致的，都是要用機(jī)器來代替人類的部分智力活動2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院17相關(guān)學(xué)科o模式識別是一門邊緣學(xué)科，與人工智能，信號處理，計算機(jī)科學(xué)與技術(shù)，概率統(tǒng)計，模糊集論，信息論，數(shù)字圖像處理，形式語言學(xué)，心理學(xué)，語言學(xué)等都有密切的關(guān)系，而且隨著這門學(xué)科的發(fā)展，還會與其它更多學(xué)科發(fā)生關(guān)系2021-11

14、-25西安電子科技大學(xué)計算機(jī)學(xué)院18模式識別系統(tǒng)舉例o機(jī)器視覺：制造業(yè)的自動檢測和自動裝配線o語音識別：讓計算機(jī)聽懂人類的指令，在有害環(huán)境中遠(yuǎn)程控制機(jī)器，殘障人士通過談話控制機(jī)器，語音輸入o說話人識別：根據(jù)語音確定說話人的身份o字符與文字識別：信件的自動分揀，手寫輸入法，銀行支票的機(jī)器讀取，o計算機(jī)輔助診斷技術(shù)：X-射線，超聲，心腦電圖等o復(fù)雜圖像中特定目標(biāo)的識別：道路圖像中汽車的檢測，人臉檢測，行路人檢測等o根據(jù)地震勘探數(shù)據(jù)對地下儲層性質(zhì)的識別（石油勘探）o數(shù)據(jù)挖掘和知識發(fā)現(xiàn)：多媒體檢索，基因表達(dá)數(shù)據(jù)分析2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院19一個例子：問題的提出有一家魚包裝公司（

15、fish-packing plant）要根據(jù)傳送帶上的魚的種類實(shí)現(xiàn)自動分揀2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院20鱸魚（sea bass）鮭魚(salmon)一個例子：可能的解決方案o架設(shè)一臺照相機(jī)，采集一些圖像o通過初步觀察，注意到兩種魚之間的一些外在的差異（分類器的備用特征）n長度（length）n光澤度(lightness)n寬度(width)n鰭(fins)的數(shù)目和形狀n嘴的位置2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院21系統(tǒng)的雛形2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院22o攝像機(jī)拍下魚的照片o圖像的預(yù)處理：將魚從背景中分割出來，并彼此分開o單條魚的信息送到一個

16、特征提取器（feature extractor）o提取的特征送到分類器（classifier）進(jìn)行分類決策特征提取器和分類器的設(shè)計o一般來說，鱸魚的長度要比鮭魚長，因此先考慮用長度作為分類特征o分類基于的模型：鱸魚和鮭魚都有一個典型的長度，并且鱸魚的這個長度要大于鮭魚的長度o通過樣本訓(xùn)練確定分類的閾值l*o決策規(guī)則：看一條魚的長度是否超過閾值l*2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院23以長度分類樣本的結(jié)果2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院24數(shù)目鮭魚鱸魚長度分類結(jié)果分析o盡管平均意義下鱸魚的平均長度大于鮭魚，但用單一的長度作為分類標(biāo)準(zhǔn)結(jié)果并不理想o無論我們?nèi)绾芜x擇閾值l*

17、 ，都無法可靠地把兩種魚分開來o因此，需要考慮其他的特征2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院25以平均光澤度作為分類特征2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院26o結(jié)論：以光澤度作為分類特征的效果要好得多代價的考量o前面我們假定犯兩類錯誤的代價是相同的o盡管這一假定很多時候適用，但也有例外o由于鮭魚比鱸魚更美味，因此顧客更容易接受鮭魚被錯分為鱸魚，而難以接受鱸魚被錯分為鮭魚。o為減少錯誤分類的代價，必須減少鱸魚錯分為鮭魚的概率：決策邊界向光澤度小的方向偏移2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院27如果我們對分類效果還不滿意o我們將繼續(xù)尋找新的能實(shí)現(xiàn)更好分類效果的單一特

18、征o假定在單一特征中光澤度的分類效果是最好的，則我們必須考慮多個特征o例如，我們觀察到鱸魚一般來說要比鮭魚寬，就可以用光澤度和寬度來構(gòu)造二維特征向量：2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院2812.xxx分類結(jié)果2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院29結(jié)果分析o二維特征的分類結(jié)果看起來好于一維特征o所以我們可以考慮加入更多的特征來進(jìn)一步提高分類效果，比如背鰭的頂角，嘴的位置等等o問題：是否加入的特征越多，分類效果越好？o答：不一定2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院30為什么特征不是越多越好o特征越多，測量的代價就越多o即使不考慮代價，加入冗余特征也不會提高分類效果

19、，比如如果眼睛的顏色與寬度是完全相關(guān)的，則加入這一特征便不會提高分類效果o特征越多，模型就越復(fù)雜，分類邊界也越復(fù)雜，盡管可以實(shí)現(xiàn)對樣本的完美分類，卻偏離了我們設(shè)計分類器的初衷2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院31訓(xùn)練樣本的完美分類2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院32推廣能力問題（Generalization）o分類器設(shè)計的核心目標(biāo)是實(shí)現(xiàn)對未知樣本的正確分類，也就是要有好的推廣能力。o而一個過于復(fù)雜的決策界面一般來說不太可能有好的推廣能力，它只是針對個別訓(xùn)練樣本的調(diào)整，而沒有真正地反映所要識別對象模型的本質(zhì)特征。o結(jié)論：我們必須在訓(xùn)練樣本的分類錯誤率和推廣能力之間權(quán)衡以

20、得到滿意的設(shè)計2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院33模式識別系統(tǒng)2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院34信息獲取o信息獲取一般是通過某種傳感器將光或聲音等信信息獲取一般是通過某種傳感器將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖像如文字息轉(zhuǎn)化為電信息。信息可以是二維的圖像如文字，指紋，地圖，照片等；可以是一維的波形如心，指紋，地圖，照片等；可以是一維的波形如心電圖，腦電圖，機(jī)械振動波形；也可以是物理量電圖，腦電圖，機(jī)械振動波形；也可以是物理量與邏輯值，前者如疾病診斷中病人的體溫及各種與邏輯值，前者如疾病診斷中病人的體溫及各種化驗(yàn)數(shù)據(jù)，后者如對某參量正常與否的判斷或?qū)?/p>

21、驗(yàn)數(shù)據(jù)，后者如對某參量正常與否的判斷或?qū)ΠY狀有無的描述等。此外，還可以是模糊值，如癥狀有無的描述等。此外，還可以是模糊值，如大，很大，比較大等。大，很大，比較大等。2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院352021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院36預(yù)處理預(yù)處理o由感知器輸入的信息往往需要進(jìn)行適當(dāng)?shù)挠筛兄鬏斎氲男畔⑼枰M(jìn)行適當(dāng)?shù)念A(yù)處理，預(yù)處理，n圖像識別中將圖像從背景中分割出來圖像識別中將圖像從背景中分割出來n在語音識別中，區(qū)分單個的音素（在語音識別中，區(qū)分單個的音素（phoneme）n合成對象的各個組成部分正確分組（合成對象的各個組成部分正確分組（i有有兩個部分，但我們將

22、它們識別為一個符號）兩個部分，但我們將它們識別為一個符號）o預(yù)處理可以去除噪聲，加強(qiáng)有用的信息預(yù)處理可以去除噪聲，加強(qiáng)有用的信息o預(yù)處理的方法：包括預(yù)處理的方法：包括AD,二值化，圖象的二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等處理平滑，變換，增強(qiáng)，恢復(fù)，濾波等處理特征提取和選擇o 一般由原始測量所獲得的數(shù)據(jù)量是相當(dāng)大的，一般由原始測量所獲得的數(shù)據(jù)量是相當(dāng)大的，為了有效地實(shí)現(xiàn)分類識別，就要對原始數(shù)據(jù)進(jìn)行為了有效地實(shí)現(xiàn)分類識別，就要對原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征，這就是特變換，得到最能反映分類本質(zhì)的特征，這就是特征提取和選擇的過程。征提取和選擇的過程。o所選的特征必須使同類的樣

23、本相距較近，而不同所選的特征必須使同類的樣本相距較近，而不同類的樣本相距較遠(yuǎn)，并對無關(guān)變換具有不變性，類的樣本相距較遠(yuǎn)，并對無關(guān)變換具有不變性，比如在前面鱸魚比如在前面鱸魚 和鮭魚的例子中，所選特征要和鮭魚的例子中，所選特征要對平移，旋轉(zhuǎn)，伸縮等具有不變性對平移，旋轉(zhuǎn)，伸縮等具有不變性2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院372021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院38分類決策分類決策o分類目標(biāo)：分類目標(biāo)：n 把特征空間劃分成類型空間。把特征空間劃分成類型空間。n 把未知類別屬性的樣本確定為類型空間的某一個類型把未知類別屬性的樣本確定為類型空間的某一個類型o實(shí)際分類過程中，對于預(yù)

24、先給定的條件，分類中實(shí)際分類過程中，對于預(yù)先給定的條件，分類中出現(xiàn)錯誤是不可避免的。因此，分類過程只能以出現(xiàn)錯誤是不可避免的。因此，分類過程只能以某種錯誤率來完成。顯然，錯誤率越小越好。但某種錯誤率來完成。顯然，錯誤率越小越好。但是，分類錯誤率又受很多條件的制約：分類方法、是，分類錯誤率又受很多條件的制約：分類方法、分類器設(shè)計、選用的樣本及提取的特征等。因此，分類器設(shè)計、選用的樣本及提取的特征等。因此，分類錯誤率不能任意小。分類錯誤率不能任意小。2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院39o分類器設(shè)計：分類器設(shè)計的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低。o分類

25、決策：在特征空間中把被識別對象進(jìn)行分類，歸為某一類別。分類決策后處理o錯誤率和風(fēng)險評估，從而改進(jìn)設(shè)計，提高分類性能（從理論上估計最小錯誤率/風(fēng)險，看我們設(shè)計的分類器還有多大差距）o利用上下文信息解釋分類結(jié)果，提高分類性能o利用多個分類器來提高分類效果2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院40模式識別的分類o監(jiān)督模式識別/學(xué)習(xí)（supervised pattern recognition/learning）o非監(jiān)督模式識別/學(xué)習(xí)，聚類（unsupervised pattern recognition/learning，clustering）o半監(jiān)督模式識別（semi-supervised

26、 pattern recognition）2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院41監(jiān)督模式識別o在機(jī)器學(xué)習(xí)里稱為監(jiān)督學(xué)習(xí)（supervised learning）,存在有已知樣本的訓(xùn)練集，比如在鱸魚和鮭魚的例子里，有一定數(shù)量的訓(xùn)練樣本，可以利用的先驗(yàn)信息相對比較多2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院42非監(jiān)督模式識別o給定的是未知樣本集合，按其特征把相似的歸為一類o在工程和社會科學(xué)中出現(xiàn)較多，比如多光譜遙感(multispectral remote sensing)，圖像分割(image segmentation)，圖像和語音編碼(image and speech codi

27、ng)等o關(guān)鍵是如何定義兩個特征向量之間的相似性（similarity），并選擇一個合適的度量o一般來說，不同的聚類算法會產(chǎn)生不同的聚類結(jié)果，需要專家來解釋2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院43半監(jiān)督模式識別o其分類目標(biāo)與監(jiān)督模式識別相同，但是在已知樣本之外還有一部分未知樣本o一般出現(xiàn)在系統(tǒng)設(shè)計者只能得到很少的已知樣本的情況下（用未知樣本做進(jìn)一步的補(bǔ)充）o也可以看成帶有約束條件（已知樣本）的聚類2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院442021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院45二.模式識別的發(fā)展史o1929年 G. Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。

28、o30年代 Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基礎(chǔ)。因此，在6070年代，統(tǒng)計模式識別發(fā)展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。但由于計算機(jī)運(yùn)算速度的迅猛發(fā)展，這個問題得到一定克服。統(tǒng)計模式識別仍是模式識別的主要理論。2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院46o50年代喬姆斯基年代喬姆斯基 （ Noam Chemsky） 提提出形式語言理論。出形式語言理論。o美籍華人付京蓀美籍華人付京蓀 提出句法結(jié)構(gòu)模式識別。提出句法結(jié)構(gòu)模式識別。o60年代年代 L.A.Zadeh提出了模糊集理論，模提出了模糊集理論，模糊模式識別理論得到了較廣泛的應(yīng)用。糊

29、模式識別理論得到了較廣泛的應(yīng)用。o80年代年代 Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識別和人工近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識別和人工智能上得到較廣泛的應(yīng)用。智能上得到較廣泛的應(yīng)用。o90年代年代Vapnik基于小樣本學(xué)習(xí)理論發(fā)展了基于小樣本學(xué)習(xí)理論發(fā)展了支持向量機(jī)，支持向量機(jī)也受到了很大的支持向量機(jī)，支持向量機(jī)也受到了很大的重視。重視。2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院471-3 模式識別的方法o模版匹配法(template matching)o統(tǒng)計方法(statistical pattern recognition)o神經(jīng)網(wǎng)絡(luò)方

30、法(neural network)o結(jié)構(gòu)方法(句法方法)(structural pattern recognition )2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院48模版匹配o模板匹配模式認(rèn)為在人的長時記憶中,存在著代表各種景物形態(tài)的“模板”。當(dāng)人注視景物時,景物通過眼睛及其視覺系統(tǒng)進(jìn)入大腦與存儲在大腦中的模板進(jìn)行匹配。若某個模板與輸入景物匹配一致或相關(guān)量最大,就認(rèn)為人已經(jīng)對這一景物能夠再認(rèn)了。 o實(shí)現(xiàn)方式：首先對每個類別建立一個或多個模版輸入樣本和數(shù)據(jù)庫中每個類別的模版進(jìn)行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策 2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院49o優(yōu)點(diǎn)：直接、簡

31、單 例如，當(dāng)我們看一個字母A，視網(wǎng)膜接收的信息便傳到大腦，刺激信息在腦中得到相應(yīng)的編碼，并與記憶中貯存的各式各樣的模板進(jìn)行比較；通過決策過程判定它與模板A有最佳的匹配，于是字母A就得到識別。o缺點(diǎn)：適應(yīng)性差 然而現(xiàn)實(shí)世界輸入視覺系統(tǒng)的景物是復(fù)雜的。就拿字符“F”來說，輸入“F”字符可能是拉伸的、壓縮的、旋轉(zhuǎn)的、歪扭的、斷裂的，等等，這使得模板匹配工作變得困難和復(fù)雜起來。 模版匹配2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院50統(tǒng)計方法o根據(jù)訓(xùn)練樣本，建立決策邊界(decision boundary) n統(tǒng)計決策理論根據(jù)每一類總體的概率分布決定決策邊界n判別式分析方法給出帶參數(shù)的決策邊界，根據(jù)

32、某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)o本課程的重點(diǎn)內(nèi)容2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院51統(tǒng)計方法o例1：男女19人進(jìn)行體檢，測量身高和體重，如下表。但事后發(fā)現(xiàn)4人忘了寫性別，試問，這4人是男是女？序號身高（cm）體重（kg）性別序號身高（cm）體重（kg）性別117068男1114062男213066女1215064女318071男1312066女419073男1415066男516070女1513065男615066男1614070？719068男1715060？821076男1814565？910058女1916075？1017075男2021-11-25西安電子科技大學(xué)

33、計算機(jī)學(xué)院52統(tǒng)計方法o解：解：試驗(yàn)樣本是人，分為男、女兩個類別。二維的主要特征是身高、體重，構(gòu)成二維特征空間。已知15人的性別，可以作為訓(xùn)練樣本，根據(jù)其值確定他們在特征空間的位置。如下圖所示：2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院53統(tǒng)計方法2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院54統(tǒng)計方法2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院55統(tǒng)計方法o現(xiàn)考察1619號體檢者，由身高、體重確定在上圖中的位置。顯然，16()、19()在負(fù)線一側(cè)，判定他們?yōu)榕浴?7()、18()位于正線一側(cè)，判為男性。2021-11-25西安電子科技大學(xué)計算機(jī)學(xué)院56人工神經(jīng)網(wǎng)絡(luò)o受人的大腦神經(jīng)網(wǎng)絡(luò)的啟發(fā)提出的進(jìn)行