模式識別-0-緒論

1、模式識別模式識別Pattern Recognitionv主講教師：程建v職稱：副教授v研究方向：圖像處理與模式識別、計算機(jī)視覺與場景理解、機(jī)器學(xué)習(xí)、多源遙感圖像智能處理與分析教材與參考書教材與參考書v模式識別 ，邊肇祺，張學(xué)工，清華大學(xué)出版社；v模式識別 ，蔡元龍 ，西安電子科技大學(xué)出版社；v模式分類，R. O. Duda, P. E. Hart, D. G. Stork （著），李宏東，姚天翔 （譯），機(jī)械工業(yè)出版社教學(xué)內(nèi)容教學(xué)內(nèi)容v緒論緒論 （2學(xué)時）學(xué)時）v非監(jiān)督學(xué)習(xí)方法：聚類分析非監(jiān)督學(xué)習(xí)方法：聚類分析 （4學(xué)時）學(xué)時）v線性判別函數(shù)與線性分類器設(shè)計線性判別函數(shù)與線性分類器設(shè)計 （6學(xué)

2、時）學(xué)時）v貝葉斯決策理論貝葉斯決策理論 （6學(xué)時）學(xué)時）v概率密度函數(shù)的估計概率密度函數(shù)的估計 （6學(xué)時）學(xué)時）v特征選擇與提取特征選擇與提取 （6學(xué)時）學(xué)時）v復(fù)習(xí)復(fù)習(xí) （2學(xué)時）學(xué)時）教學(xué)相關(guān)要求教學(xué)相關(guān)要求1. 課堂紀(jì)律課堂紀(jì)律 禁止大聲喧嘩禁止大聲喧嘩 禁止玩手機(jī)禁止玩手機(jī) 禁止無故缺席和遲到禁止無故缺席和遲到2. 成績構(gòu)成成績構(gòu)成 課程總成績課程總成績 = 平時成績平時成績 + 期末考試成績期末考試成績 平時成績（平時成績（20%）：作業(yè)）：作業(yè) + 課堂表現(xiàn)課堂表現(xiàn) 期末考試（期末考試（80%） 作業(yè)：總共作業(yè)：總共5次，要求每人至少交作業(yè)次，要求每人至少交作業(yè)3次次第一章第一章

3、 緒論緒論v模式識別的基本概念模式識別的基本概念 v模式識別的研究方法模式識別的研究方法 統(tǒng)計模式識別統(tǒng)計模式識別 結(jié)構(gòu)模式識別結(jié)構(gòu)模式識別v模式識別的發(fā)展動態(tài)模式識別的發(fā)展動態(tài)v模式識別的應(yīng)用模式識別的應(yīng)用v統(tǒng)計模式識別系統(tǒng)構(gòu)成統(tǒng)計模式識別系統(tǒng)構(gòu)成1.1 模式識別的基本概念模式識別的基本概念v 機(jī)器智能系統(tǒng)應(yīng)該包括三個部分： 1. 感知部分感知部分：相當(dāng)于人的眼、耳、觸覺、嗅覺等等； - 模式識別模式識別 2. 學(xué)習(xí)部分學(xué)習(xí)部分：模仿人在自己的行動中總結(jié)經(jīng)驗，改善自身能力的功能； - 機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí) 3. 思維部分思維部分：相當(dāng)于人的邏輯推理和計算能力； - 人工智能人工智能 v模式模式(

4、Pattern)：泛指一切客觀事物的存在形式，具有時間或空間分布的信息。從工程角度講是指客觀事物存在形式的數(shù)學(xué)表達(dá)。v識別識別(Recognition)：人的識別過程是一個非常復(fù)雜的心理和生理過程。從工程的角度講，識別可以看作是一個分類問題。模式識別的數(shù)理依據(jù)模式識別的數(shù)理依據(jù) v對象具有顯著的特征（對象具有顯著的特征（可觀察性）可觀察性） 對象在經(jīng)過一定的處理之后能提取出部分顯著的特征，這些特征可以描述該對象，以此將該對象區(qū)別與其他的對象。v 對象具有邏輯可分性（對象具有邏輯可分性（可區(qū)分性）可區(qū)分性） 從邏輯上可以依據(jù)一定的準(zhǔn)則將對象劃分成不同的類別，依據(jù)的準(zhǔn)則應(yīng)與對象特征密切聯(lián)系，并直接

5、關(guān)系到分類的正確程度。v統(tǒng)計意義上的最優(yōu)性（性能可控統(tǒng)計意義上的最優(yōu)性（性能可控性）性） 待分類對象總體數(shù)目可能無限大，有時候無法求得對所有的對象進(jìn)行精確分類，這個時候只是需要統(tǒng)計意義上的最優(yōu)，或者錯誤率最低則可。1.2 模式識別的研究方法模式識別的研究方法 v統(tǒng)計模式識別與結(jié)構(gòu)模式識別統(tǒng)計模式識別與結(jié)構(gòu)模式識別v統(tǒng)計模式識別統(tǒng)計模式識別：將模式看作空間中的一個點，采用解析幾何和概率論、數(shù)理統(tǒng)計的方法，判別輸入模式的類別屬性； v結(jié)構(gòu)模式識別結(jié)構(gòu)模式識別：也稱為句法模式識別，將模式看成是由一些基本元素有組織的構(gòu)成，用字符串對模式進(jìn)行描述，利用形式語言和自動機(jī)理論對模式的結(jié)構(gòu)進(jìn)行分析和判別；v監(jiān)

6、督分類和非監(jiān)督分類監(jiān)督分類和非監(jiān)督分類 監(jiān)督類監(jiān)督類(Supervised)(Supervised)分類方法分類方法：依靠已知已知所屬類別的訓(xùn)練樣本集合，按照他們特征向量的分布來確定判別函數(shù)，只有判別函數(shù)確定之后才能用它來對未知的模式進(jìn)行分類判別。 要求要求：進(jìn)行大量的測試、實驗、提煉、統(tǒng)計得到足夠的先驗知識。作為確定判別函數(shù)的基礎(chǔ)。并且要有足夠的樣本。 非監(jiān)督（非監(jiān)督（Unsupervised）分類方法）分類方法：沒有(足夠的)先驗知識，而是基于“物以類聚”的出發(fā)點，通過聚類分析，將模式特征相近的劃分成一類，在特征空間相距比較近的一些模式歸為一類。 目標(biāo)目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)

7、組織成有意義的和有用的各種數(shù)據(jù)集。v參數(shù)與非參數(shù)方法參數(shù)與非參數(shù)方法 以模式集合的樣本在特征空間中表現(xiàn)出隨機(jī)性，我們只能根據(jù)類的分布概率密度函數(shù)為基礎(chǔ)，來確定判別函數(shù)，以某一個置信度來分類模式。v參數(shù)方法參數(shù)方法 已知概率密度函數(shù)的參數(shù)和表達(dá)形式，或者通過樣本訓(xùn)練學(xué)習(xí)能估計出類的概率密度函數(shù)的近似表達(dá)式。v非參數(shù)方法非參數(shù)方法 在沒有概率密度函數(shù)或者也估計不出概率密度函數(shù)參數(shù)形式的情況下，就無法利用概率密度函數(shù)來計算判別函數(shù)。凡是不采用某種概率密度函數(shù)的估計參數(shù)來確定判別函數(shù)的，都可以歸之為非參數(shù)方法。那么， (i) 繞過概率密度函數(shù)直接確定判別函數(shù)（或者判函數(shù)的形式，再通過訓(xùn)練樣本來確定參數(shù)

8、） (ii) 最鄰近的原則分類。 (iii) 非參核（Kernel）估計方法1.3 模式識別的發(fā)展動態(tài)模式識別的發(fā)展動態(tài)v60年代初，數(shù)理統(tǒng)計學(xué)中已經(jīng)形成了完整的統(tǒng)計決策理論；v70年代中期，美籍華人傅京孫教授建立了句法模式識別理論；v80年代，在傅京遜教授指導(dǎo)下，我國一批學(xué)者在美國進(jìn)修，回國后開展模式識別研究。v80年代以后：新技術(shù)的爆發(fā)期，代表性的有人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)（SVM）、貝葉斯網(wǎng)和馬爾科夫-系方法、流型（Manifold）學(xué)習(xí)等。 模式識別的國內(nèi)、國際學(xué)術(shù)組織模式識別的國內(nèi)、國際學(xué)術(shù)組織v1973年 IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”，成立了國際模式識別協(xié)

9、會-“IAPR”，每2年召開一次國際學(xué)術(shù)會議。v1977年 IEEE的計算機(jī)學(xué)會成立了模式分析與機(jī)器智能（PAMI）委員會，每2年召開一次模式識別與圖象處理學(xué)術(shù)會議，CVPR。v國內(nèi)的組織有電子學(xué)會，通信學(xué)會，自動化協(xié)會，中文信息學(xué)會.期刊期刊(Journal) IEEE Transaction on Pattern Analysis and Machine Intelligence，PAMI； Pattern Recognition； Pattern Recognition Letter； International Journal of Pattern Recognition and Ar

10、tificial Intelligence 模式識別與人工智能；1.4 模式識別的應(yīng)用模式識別的應(yīng)用 工業(yè)用途工業(yè)用途：產(chǎn)品質(zhì)量檢驗，設(shè)備故障檢測，智能機(jī)器人的感知系統(tǒng)； 商業(yè)用途商業(yè)用途：錢幣的自動識偽，信函的自動分揀，電話信息查詢，聲控?fù)芴枺?醫(yī)學(xué)用途醫(yī)學(xué)用途：對心電、腦電、CT等信號進(jìn)行處理和識別，自動進(jìn)行疾病的診斷； 安全領(lǐng)域安全領(lǐng)域：生理特征鑒別(Biometrics)，網(wǎng)上電子商務(wù)的身份確認(rèn)，對公安對象的刑偵和鑒別； 軍事領(lǐng)域軍事領(lǐng)域：巡航導(dǎo)彈的目標(biāo)識別、場景識別，戰(zhàn)斗單元的敵我識別； 辦公自動化辦公自動化：文字識別技術(shù)和聲音識別技術(shù)； 數(shù)據(jù)挖掘數(shù)據(jù)挖掘：海量數(shù)據(jù)分析； 網(wǎng)絡(luò)應(yīng)用網(wǎng)

11、絡(luò)應(yīng)用：文本、圖像、視頻等信息載體的分類。 智能信息研究方向模式識別圖像與視覺處理語言處理語音識別漢字識別圖像識別Biometrics信息檢索語言理解機(jī)器翻譯場景識別應(yīng)用舉例應(yīng)用舉例 字符識別字符識別：印刷體與手寫體，在線與離線 醫(yī)學(xué)圖像識別與醫(yī)學(xué)信號識別醫(yī)學(xué)圖像識別與醫(yī)學(xué)信號識別 遙感圖像分類遙感圖像分類 生物特征識別生物特征識別：（指紋、人臉與虹膜等） 智能武器中的ATR：智能戰(zhàn)略導(dǎo)彈（巡航）、智能戰(zhàn)術(shù)導(dǎo)彈（地空、空地、艦空、空艦等）1.5 統(tǒng)計模式識別系統(tǒng) 分類訓(xùn)練信息獲取及預(yù)處理信息獲取及預(yù)處理v信息獲取信息獲取 將待識別對象用計算機(jī)所能接受的形式表示，一般表現(xiàn)為某種形式的電信號，主要

12、有：v二維圖像v一維波形v物理參量和邏輯值v預(yù)處理預(yù)處理 其目的是去除信息獲取過程中摻入的干擾和噪聲，人為地加強(qiáng)有用的信息，并對一些因素造成的退化現(xiàn)象進(jìn)行復(fù)原。什么是特征？什么是特征？特征提取與選擇特征提取與選擇特征獲取特征獲取如何得到如何得到特征？特征？v特征提取與選擇的核心：特征提取與選擇的核心：問題問題：信息獲取部分的原始數(shù)據(jù)量一般相當(dāng)大實質(zhì)實質(zhì)：對原始數(shù)據(jù)進(jìn)行選擇或變換，得到最能反映分類本質(zhì)的特征概念概念：測量空間、特征空間分類器設(shè)計與模式分類分類器設(shè)計與模式分類v分類器設(shè)計分類器設(shè)計 設(shè)計分類判別準(zhǔn)則將待識別模式分到各自的模式類中：用一定數(shù)量的樣本（稱為訓(xùn)練樣本）確定出分類判別規(guī)則（也稱分類器），使得按照該分類準(zhǔn)則對待識別模式進(jìn)行分類所造成的錯誤識別率最小。v模式分類模式分類 將已確定的分類