模式識別概述.

1、第第1章章 模式識別概述模式識別概述Chapter 1: A brief introduction for Pattern Recognition本章主要內(nèi)容本章主要內(nèi)容1.1 為什么要學(xué)習(xí)模式識別？為什么要學(xué)習(xí)模式識別？ (Why)1.3 怎樣學(xué)習(xí)模式識別？怎樣學(xué)習(xí)模式識別？ (How)1.2 什么是模式識別？什么是模式識別？ (What)1.4 模式識別的發(fā)展歷史與未來模式識別的發(fā)展歷史與未來(重點)(重點)(熟悉)(了解)1.1 為什么要學(xué)習(xí)模式識別？為什么要學(xué)習(xí)模式識別？ (Why)1.1.1 模式識別在日常生活中的應(yīng)用實例模式識別在日常生活中的應(yīng)用實例例例1: 1: 手機(jī)的手寫輸入功

2、能例例2: 2: 筆記本電腦上的指紋識別器例例3: 3: 車牌自動識別系統(tǒng)1.1.1 模式識別在日常生活中的應(yīng)用實例（續(xù)）模式識別在日常生活中的應(yīng)用實例（續(xù)）例例4: 4: 語音識別系統(tǒng)大家下大家下午好午好（1）模式識別技術(shù)給我們帶來了全新的體驗難道不想洞察其中的奧秘？難道不想親自動手做一套類似的系統(tǒng)？1.1.2 學(xué)習(xí)模式識別的理由學(xué)習(xí)模式識別的理由計算機(jī)能看懂我們寫的字，并能自動幫我們記車牌（2）模式識別技術(shù)延伸了計算機(jī)的應(yīng)用領(lǐng)域計算機(jī)能聽懂我們說的話，并自動翻譯成其它語言 相當(dāng)于將計算機(jī)從一種工具變成了一位伙伴（4）模式識別留給我們很多挑戰(zhàn)（3）模式識別技術(shù)可以應(yīng)用到很多學(xué)科中1.1.2

3、學(xué)習(xí)模式識別的理由（續(xù)）學(xué)習(xí)模式識別的理由（續(xù)）數(shù)據(jù)挖掘圖象檢索視頻分析移動通信生物信息學(xué)石油勘探語音識別機(jī)器人目標(biāo)跟蹤迎接挑戰(zhàn)的前提是學(xué)好模式識別這門課識別率能否更高一些？穩(wěn)健性能否更好一些？計算復(fù)雜度能否更低一些？ 計算機(jī)視覺1. 2 什么是模式識別？什么是模式識別？ (What)1.2.1 人類具有模式識別能力人類具有模式識別能力x例例1 1：判斷 是“紅心”還是“月亮”x注：盡管只是有些相似，人類仍能準(zhǔn)確判斷。例例2 2：判斷 是數(shù)字“6”還是數(shù)字“9”xx1.2.1 人類具有模式識別能力（續(xù)）人類具有模式識別能力（續(xù)）例例3 3：醫(yī)生給病人看病例例4 4：早上起床，要“看云識天氣”例

4、例5 5：學(xué)生上課 q 盡管人類的模式識別能力看起來司空見慣，但讓計算機(jī)來實現(xiàn)人所具備的模式識別能力時，仍然相當(dāng)有難度。 首先需要根據(jù)病情做一些必要的檢驗，根據(jù)各項檢驗指標(biāo)（如體溫、血壓、血相等）做出病情的分類決策（病情的具體診斷結(jié)果），上述過程就是一個模式識別過程。一邊在做著語音識別，一邊在做著文字識別。1.2.2 計算機(jī)模式識別與人類模式識別方式不同計算機(jī)模式識別與人類模式識別方式不同x計算機(jī)識別人類識別“紅心”模式“月亮”模式通過抽象、概括等手段很容易識別識別難度大通過計算、比對等手段（缺少抽象能力）例例1 1：判斷 是“紅心”還是“月亮”x1.2.2 計算機(jī)模式識別與人類模式識別方式不

5、同（續(xù)）計算機(jī)模式識別與人類模式識別方式不同（續(xù)）q 機(jī)器識別事物的方式與人識別事物的方式不一樣。在目前，機(jī)器識別事物的方式簡單、低級，識別能力還很差。 人們在學(xué)習(xí)與認(rèn)識事物中會總結(jié)出規(guī)律，并把這些規(guī)律性的東西抽象成“概念”，但機(jī)器目前的抽象能力很差。q 主要原因：q 要讓機(jī)器準(zhǔn)確地把握事物的本質(zhì)，弄清分辨事物的關(guān)鍵，從而正確辨別事物，實質(zhì)上是要依賴于人能夠研究出好的算法，從而構(gòu)造出好的系統(tǒng)，使機(jī)器識別事物的本領(lǐng)更強。（1 1）計算機(jī)模式識別（簡稱模式識別）：）計算機(jī)模式識別（簡稱模式識別）：讓計算機(jī)擁有人類所具備的模式識別能力。1.2.3 與模式識別相關(guān)的幾個概念與模式識別相關(guān)的幾個概念（2

6、 2）模式：）模式：一些供比對用的、“標(biāo)準(zhǔn)”的樣本。x“紅心”模式“月亮”模式通過對具體的個別事物進(jìn)行觀測所得到的具體時間和空間分布的信息。 （見教材第2頁第4行）另外一種定義：1.2.3 與模式識別相關(guān)的幾個概念（續(xù)）與模式識別相關(guān)的幾個概念（續(xù)）（3 3）模式類）模式類模式所屬的類別或同一類中模式的總體；例例1 1：以汽車為例l 天津的每一輛汽車均是一個模式；l 34路公共汽車或649路公共汽車，每一路公共汽車均是一個模式類；例例2 2：以數(shù)字為例l每一個寫或印在紙上的阿拉伯?dāng)?shù)字均是 一個模式；l寫或印在紙上的任何形式的 阿拉伯?dāng)?shù)字3 全體構(gòu)成一個模式類。31.2.4 模式識別系統(tǒng)的構(gòu)成模

7、式識別系統(tǒng)的構(gòu)成模式識別系統(tǒng)的基本構(gòu)成 預(yù) 處 理 信 息 獲 取 特 征 提 取選 擇 識別結(jié)果 識別對象 A B C D E 分 類 器 設(shè) 計 分 類 決 策 q 最關(guān)鍵的三個環(huán)節(jié)：預(yù)處理，特征提取，分類器設(shè)計（簡稱模式識別三步曲）1.2.4 模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的構(gòu)成（續(xù)）特征提取分類器設(shè)計預(yù)處理預(yù)處理前預(yù)處理后特征向量ABC比對比對觀察C是與A最相近，還是與B最相近？轉(zhuǎn)化成列向量“1”“7”未知例例1 1：數(shù)字識別數(shù)字識別1.2.4 模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的構(gòu)成（續(xù)）預(yù)處理前預(yù)處理后特征向量轉(zhuǎn)化成列向量123453534333231轉(zhuǎn)化成列向量01010

8、001233534330100特征提取主成分分析獨立成分分析小波變換等等11（第8章要講）預(yù)處理的細(xì)節(jié)預(yù)處理后特征向量ABC比對比對轉(zhuǎn)化成向量形形色色的分類器（用于比對特征向量）決策樹近鄰法人工神經(jīng)網(wǎng)絡(luò)支持向量機(jī)顯著度框架特征提取預(yù)處理1.2.4 模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的構(gòu)成（續(xù)）（后面章要講）分類器設(shè)計權(quán)權(quán) 參參模模 參參得得 到到 最最 佳佳 值值后后 驗驗似似 然然 （ 顯顯 著著 度度 ）先先 驗驗第第 一一 級級貝貝 葉葉 斯斯公公 式式貝貝 葉葉 斯斯公公 式式貝貝 葉葉 斯斯公公 式式DP|,P,| DPM PM P,DP | ww| DP wP iHPiHDP |

9、DHPi|M PHM Pw第第 二二 級級第第 三三 級級,f xw1,xxKsK xx, 1x 2x dxxwt注：沒有一種分類器在任何情況下都是最優(yōu)的。 22xb1234598671110 12xa23xb 11xa 21xbYNYNYNYNYN支持向量機(jī)顯著度框架決策樹1.2.4 模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的構(gòu)成（續(xù)）例例1 1：形形色色的分類器1.2.4 模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的基本構(gòu)成 預(yù) 處 理 信 息 獲 取 特 征 提 取選 擇 識別結(jié)果 識別對象 A B C D E 分 類 器 設(shè) 計 分 類 決 策 q 信息獲?。和ㄟ^傳感器，

10、將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖象如文字，圖象等；可以是一維的波形如聲波，心電圖，腦電圖；也可以是物理量與邏輯值。q 預(yù)處理：包括AD,二值化，圖象的平滑，變換，增強，恢復(fù)，濾波等, 主要指圖象處理。1.2.4 模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的構(gòu)成（續(xù)）模式識別系統(tǒng)的基本構(gòu)成 預(yù) 處 理 信 息 獲 取 特 征 提 取選 擇 識別結(jié)果 識別對象 A B C D E 分 類 器 設(shè) 計 分 類 決 策 q 特征提取和選擇：對測量空間的原始數(shù)據(jù)，通過變換可獲得在特征空間最能反映分類本質(zhì)的特征。q 分類器設(shè)計：分類器設(shè)計的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時，

11、錯誤率最低。把這些判決規(guī)則建成標(biāo)準(zhǔn)庫。q 分類決策：在特征空間中對被識別對象進(jìn)行分類。1c1.2.5 模式識別的復(fù)雜性模式識別的復(fù)雜性x例例1 1（較簡單）（較簡單）： 判斷 是“紅心”還是“月亮”x例例2 2（較復(fù)雜）（較復(fù)雜）： 人臉表情識別七類表情5010015020025050100150200250？例例3 3（較復(fù)雜）（較復(fù)雜）： DNA識別 (2001年大學(xué)生數(shù)學(xué)建模競賽)1.2.5 模式識別的復(fù)雜性（續(xù)）模式識別的復(fù)雜性（續(xù)）DNA片段（第一類）DNA片段（第二類）aggcacggaaaaacgggaataacggaggttactttatcatttaatttaggttttaat

12、tttaaatttaattt一段未知類別的DNA片段tttagctcagtccagctagctagtttacaatttcgacaccagtttcgcaccatcttaaatttcgatccgt？注： 復(fù)雜性體現(xiàn)在：DNA片段不等長。例例4 4（更復(fù)雜）（更復(fù)雜）：人臉檢測1.2.5 模式識別的復(fù)雜性（續(xù)）模式識別的復(fù)雜性（續(xù)）？人臉非人臉注： 復(fù)雜性體現(xiàn)在：容易發(fā)生誤檢，漏檢。注：復(fù)雜性體現(xiàn)在：模式本身很復(fù)雜。1.2.5 模式識別的復(fù)雜性（續(xù)）模式識別的復(fù)雜性（續(xù)）例例5 5（更復(fù)雜）（更復(fù)雜）：音樂風(fēng)格識別歡快音樂悲傷音樂音樂片段（風(fēng)格未知）？1c人工智能人工智能機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)模式模式識別

13、識別1.2.6 模式識別已發(fā)展成為一門獨立的學(xué)科模式識別已發(fā)展成為一門獨立的學(xué)科（1） 模式識別與其它學(xué)科的關(guān)系（2）模式識別的理論基礎(chǔ)矩矩陣陣論論概概率率論論數(shù)數(shù)理理統(tǒng)統(tǒng)計計多多元元分分析析最最優(yōu)優(yōu)化化模式識別模式識別1.3 怎樣學(xué)習(xí)模式識別？怎樣學(xué)習(xí)模式識別？ (How)1.3.1 弄清基本概念弄清基本概念（1）書上的基本概念一定要弄清楚，記準(zhǔn)確，通過舉例與對比進(jìn)行深入理解；（2）前面章節(jié)的一些概念是后面章節(jié)一些概念的基礎(chǔ)，如果前面章節(jié)的概念都沒理解清楚，就會引起“連鎖反應(yīng)”，導(dǎo)致后面章節(jié)一些概念無法理解；例如：剛才講過的“模式”、“模式類”；1.3.2 一些重要的公式推導(dǎo)課后應(yīng)重新推導(dǎo)一

14、遍一些重要的公式推導(dǎo)課后應(yīng)重新推導(dǎo)一遍例如：第2章將要講的最小錯誤率貝葉斯決策公式推導(dǎo)（通過推導(dǎo)加深理解）1.3.3 多編程序多編程序注：“紙上得來終覺淺”，只有親自動手編程序，才能深入理解并掌握模式識別相關(guān)概念和方法。例例1: 1: “支持向量機(jī)”的一個程序片段MatlabCfor i=1:1:n LB(i)=0.0; UB(i)=C; end options=optimset(Diagnostics,off,. ShowStatusWindow,on,. MaxIter,200*n);st = cputime;alf,falf,exitflag,output,lamda=quadprog(

15、q,d,Aneq,bneq,Aeq,beq,LB,UB);svm_result do_cv() SVMINT number = para-cross_va; SVMINT size = training_set-size(); int verbosity = parameters-verbosity; if(number size) | (0 = number) number = size; / leave-one-out test ; SVMINT cv_size = size / number; if(! parameters-cv_inorder); 1.3.4 如果要進(jìn)一步深入學(xué)習(xí)模式

16、識別如果要進(jìn)一步深入學(xué)習(xí)模式識別（1）多看文獻(xiàn)資料，掌握學(xué)術(shù)進(jìn)展）多看文獻(xiàn)資料，掌握學(xué)術(shù)進(jìn)展, www.cs.ust.hk/aigroup, （北郵）， 學(xué)術(shù)雜志國際會議學(xué)術(shù)網(wǎng)站學(xué)術(shù)論壇學(xué)者主頁Pattern recognition, IEEE Trans PAMI, Artificial Intelligence, 中國科學(xué)，自動化學(xué)報，ICPR，ICIP，IJCNN，ICASSP，SPIE，NIPS，ICONIP， ACM序列會議，各高校BBS中的模式識別版塊，研學(xué)論壇，小木蟲，子午論壇，學(xué)術(shù)會議在線，M.I.Jordan: www.cs.ber

17、/jordan , K. Murphy: /murphyk, （2）關(guān)注學(xué)術(shù)圈，把握學(xué)術(shù)動態(tài)）關(guān)注學(xué)術(shù)圈，把握學(xué)術(shù)動態(tài)Microsoft研究院, IBM研究中心, Philips, 模識科技，科大訊飛，研究機(jī)構(gòu)知名學(xué)者學(xué)術(shù)組織企業(yè)MIT媒體實驗室，CMU，中科院自動化所，清華大學(xué)自動化系，西安交大人機(jī)所， M. I. Jordan , D. Y. Yeng, T. Hastie, J. Friedman, R. Schapire, F. R. Bach, D.G. Sork, IEEE，ACM，IEICE，國際模式識別學(xué)會，中國人工智能學(xué)會， 1.

18、3.4 如果要進(jìn)一步深入學(xué)習(xí)模式識別（續(xù)）如果要進(jìn)一步深入學(xué)習(xí)模式識別（續(xù)）（3）理論聯(lián)系實際，用模式識別解決實際問題）理論聯(lián)系實際，用模式識別解決實際問題例例1: 1: 雙螺旋分類例例2: 2: 語音識別系統(tǒng)大家下大家下午好午好當(dāng)看到自己的聲音變成了文字在屏幕上閃爍，肯定會激發(fā)進(jìn)一步學(xué)習(xí)模式識別的興趣。傳統(tǒng)方法周11.3.4 如果要進(jìn)一步深入學(xué)習(xí)模式識別（續(xù)）如果要進(jìn)一步深入學(xué)習(xí)模式識別（續(xù)）（4）將自己的工作整理成論文，并與同行進(jìn)行交流）將自己的工作整理成論文，并與同行進(jìn)行交流第一，整理論文是對自己過去工作的總結(jié)；第二，整理論文的過程也是一個水平提高的過程；第三，整理論文是讓同行知曉自己的

19、工作；1.3.4 如果要進(jìn)一步深入學(xué)習(xí)模式識別（續(xù)）如果要進(jìn)一步深入學(xué)習(xí)模式識別（續(xù)）1.4 模式識別的發(fā)展歷史與未來模式識別的發(fā)展歷史與未來1.4.1 模式識別的發(fā)展歷史模式識別的發(fā)展歷史q 30年代 Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基礎(chǔ)；q 50年代 Noam Chemsky 提出形式語言理論；美籍華人付京蓀提出句法結(jié)構(gòu)模式識別；q 50年代末期，隨著人工智能的興起，模式識別迅速發(fā)展成一門獨立的學(xué)科；q 1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字； q 90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。 （第13章將要講）句法結(jié)構(gòu)模式識別統(tǒng)計

20、模式識別 （當(dāng)前占主流）q 60年代 L.A.Zadeh提出了模糊集理論。模糊模式識別理論得到了較廣泛的應(yīng)用；q 80年代 Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。人工神經(jīng)元網(wǎng)絡(luò)在模式識別得到較廣泛的應(yīng)用。（第11章將要講）1.4.1 模式識別的發(fā)展歷史（續(xù)）模式識別的發(fā)展歷史（續(xù)）兩大陣營1.4.2 模式識別的未來模式識別的未來(a) 更高的識別率；(b) 更快的識別速度；（1）永恒的目標(biāo)）永恒的目標(biāo)（2）為實現(xiàn)上述目標(biāo)而提出的識別手段會不斷翻新）為實現(xiàn)上述目標(biāo)而提出的識別手段會不斷翻新基于核的模式識別 (kernel based pattern recognition)例例1:1: 模式識

21、別領(lǐng)域最近的一個熱點（3）應(yīng)用領(lǐng)域會越來越廣闊）應(yīng)用領(lǐng)域會越來越廣闊例例2:2: 生物特征識別 (Biometrics)(c) 更強的穩(wěn)健性；例例1：基于核的模式識別基于核的模式識別參考文獻(xiàn)：參考文獻(xiàn)：A. Ruiz and P. E. L. Teruel. Nonlinear kernel-based statistical pattern analysis. IEEE Trans Neural NetworksJ. 2001, 12(1): 16-32. 輸入空間特征空間q 不需要知道映射， 只需要給出再生核 ,Kx yxyq 特征空間是： 再生核希爾伯特空間映射1x1xdRF 1x1x(

22、 )a( )b f x f x例例2：生物特征識別生物特征識別Who are you ? You are you!q 隨著21世紀(jì)的來臨，一種更加便捷、先進(jìn)的信息安全技術(shù)將全球帶進(jìn)了電子商務(wù)時代，它就是集光學(xué)、傳感技術(shù)、超聲波掃描和計算機(jī)技術(shù)于一身的生物特征識別技術(shù)。q 生物特征識別是指通過計算機(jī)利用人體所固有的生理特征或行為特征來進(jìn)行個人身份鑒定。生理特征與生俱來,多為先天性的；行為特征則是習(xí)慣使然，多為后天性的。我們將生理和行為特征統(tǒng)稱為生物特征。 q 生物特征識別技術(shù)包括:指紋識別虹膜識別人臉識別說話人識別筆跡識別步態(tài)識別紅外溫譜圖口號：口號： 執(zhí)生命密匙，啟身份之鎖！q 傳統(tǒng)的身份鑒別

23、方法存在明顯的缺點：q 生物特征識別技術(shù)的優(yōu)勢：（1) 不易遺忘或丟失；（2) 防偽性能好，不易偽造或被盜；（3) 隨身攜帶，隨時隨地可用。 個人擁有的物品（例如鑰匙、證件，卡）容易丟失或被偽造，個人的密碼容易遺忘或記錯。更為嚴(yán)重的是這些系統(tǒng)無法區(qū)分真正的擁有者和取得身份標(biāo)識物的冒充者，一旦他人獲得了這些身份標(biāo)識事物，就可以擁有相同的權(quán)力。 例例2：生物特征識別（續(xù)）生物特征識別（續(xù)）q 指紋識別指紋識別 現(xiàn)代指紋系統(tǒng)的工作原理是細(xì)節(jié)比較紋路的分離點和結(jié)束點之間的關(guān)系。這并不需要100%的匹配，只要匹配結(jié)果從統(tǒng)計學(xué)上來說是有效的就可以了。 指紋的識別算法現(xiàn)在已相當(dāng)成熟?，F(xiàn)在主要的研究內(nèi)容包括模

24、糊指紋處理、基于方向圖的指紋特征提取、指紋細(xì)節(jié)特征自動匹配、基于小波分析的指紋圖像壓縮方法和指紋自動建庫等等。 指紋識別是人們最熟悉的生物識別學(xué)技術(shù)，也是當(dāng)今世界上最常用的生物特征身份識別方式。例例2：生物特征識別（續(xù)）生物特征識別（續(xù)） 人類從胎兒四個月大就已經(jīng)形成指紋，從此指紋作為一個隨身攜帶的“特殊印章”，具有獨特的單一性和排它性，不能假冒。 q 虹膜識別虹膜識別 虹膜識別技術(shù)是90年代才成熟的生物特征識別技術(shù)，但它是目前可靠性最高的生物測定學(xué)識別技術(shù)。 虹膜是瞳孔與鞏膜間的環(huán)形可視部分，是由一種隨瞳孔直徑的變化而拉伸的復(fù)雜的纖維狀組織所構(gòu)成。沒有任何虹膜的形狀是完全相同的，即使是同一個人的左眼和右眼的虹膜形狀也不相同。 人的虹膜具有大約266項可檢測到的特征，相比之下，人的指紋只有大約40項可檢測到的特征。 國外虹膜識別研究比國內(nèi)早，研制的識別系統(tǒng)也比較成熟。例如美國SENSAR公司開發(fā)出了虹膜識別系統(tǒng)自動取款機(jī)。用戶將取款卡插入取款機(jī)口后，機(jī)器上的立體照相機(jī)將迅速捕捉用戶臉部，對準(zhǔn)用戶眼睛，攝取其眼虹膜的數(shù)字圖像。例例2：生物特征識別（續(xù)）生物特征識別（續(xù)）q 步態(tài)識別步態(tài)識別 步態(tài)是指人們行