模式識別概述

模式識別概述第一頁，共五十九頁，2022年，8月28日第一章:模式識別概述第二頁，共五十九頁，2022年，8月28日一個例子通過光學(xué)感知手段，將傳送帶上的魚進行自動分類 鱸魚

魚類 鮭魚3第三頁，共五十九頁，2022年，8月28日問題分析架設(shè)一臺攝影像機，拍攝若干樣品的圖像提取用于區(qū)分兩類魚的有效特征(feature)長度光澤度寬度鰭的數(shù)目和形狀嘴的位置，等等…….上述參數(shù)即是我們對兩類魚進行分類的備選特征4第四頁，共五十九頁，2022年，8月28日

預(yù)處理（preprocessing）去除干擾，圖像增強采用圖像分割技術(shù)將不同的魚分離開來，或者將魚同背景分開特征提?。╢eatureextraction）將每條魚的數(shù)據(jù)送入特征提取器，通過測量特定的“特征”或“屬性”來簡化原始數(shù)據(jù)類將特征送入分類器，以便進行分類5第五頁，共五十九頁，2022年，8月28日鮭魚鮭魚鱸魚6第六頁，共五十九頁，2022年，8月28日分類（Classification）根據(jù)先驗知識：鱸魚長度一般要比鮭魚大選擇長度（length）作為可能的分類特征獲取足夠多的樣本（訓(xùn)練樣本）進行統(tǒng)計（直方圖）確定合適的長度臨界值L*作為分類標準7第七頁，共五十九頁，2022年，8月28日鮭魚鱸魚分類標準8第八頁，共五十九頁，2022年，8月28日單一的特征判據(jù)（長度）不足以完全正確分類無論怎樣確定臨界值，都有無法僅憑長度就把兩類魚截然分開9第九頁，共五十九頁，2022年，8月28日選擇光澤度（lightness）作為分類特征獲取足夠多的樣本（訓(xùn)練樣本）進行統(tǒng)計（直方圖）確定合適的光澤度臨界值x*作為分類標準以光澤度為分類特征，兩類魚的分離性更好！10第十頁，共五十九頁，2022年，8月28日分類標準鮭魚鱸魚11第十一頁，共五十九頁，2022年，8月28日判別邊界與判別代價

無論采用哪一種特征進行分類都有代價：誤判上述判別邊界假設(shè)將鮭魚誤判為鱸魚和將鱸魚誤判為鮭魚的代價相等（對稱代價）非對稱代價：調(diào)整判別邊界的位置決策論12第十二頁，共五十九頁，2022年，8月28日鮭魚鱸魚調(diào)整判別邊界，減小判別代價13第十三頁，共五十九頁，2022年，8月28日為獲取更好的分類效果，組合運用多個特征選取光澤度（lightness）和寬度（width）作為分類特征魚 xT=[x1,x2]特征向量：xT=[x1,x2]LightnessWidth14第十四頁，共五十九頁，2022年，8月28日鮭魚鱸魚判別標準：判別邊界組合特征優(yōu)于單一特征15第十五頁，共五十九頁，2022年，8月28日需要考慮的問題：特征越多分類性能越好嗎？什么樣的特征才是好的特征？特征的相關(guān)性與冗余？16第十六頁，共五十九頁，2022年，8月28日如何獲取判別邊界：判別模型？

什么樣的判別邊界才是最優(yōu)的：模型優(yōu)化？

17第十七頁，共五十九頁，2022年，8月28日復(fù)雜的模型鮭魚鱸魚18第十八頁，共五十九頁，2022年，8月28日復(fù)雜的模型可保證對所有訓(xùn)練樣本正確分類過于復(fù)雜的模型將導(dǎo)致復(fù)雜的判別曲線新模式推廣能力差19第十九頁，共五十九頁，2022年，8月28日分類系統(tǒng)的目標是對未知的樣本正確分類，而不僅僅是對訓(xùn)練樣本分類必須在模型復(fù)雜度和推廣能力之間進行折中考慮最優(yōu)模型20第二十頁，共五十九頁，2022年，8月28日鮭魚鱸魚優(yōu)化的判別邊界21第二十一頁，共五十九頁，2022年，8月28日什么是模式識別？定義利用機器（計算機）模仿人腦對現(xiàn)實世界各種事物進行描述、分類、判斷和識別的過程。目標用計算機實現(xiàn)具有感知、識別、理解、自學(xué)習(xí)和自適應(yīng)能力的靈活和智能的計算機器。22第二十二頁，共五十九頁，2022年，8月28日模式識別的產(chǎn)生與發(fā)展起源于20世紀40年代研究初期，模式識別被看作動物所具有的自然生理現(xiàn)象，很多人認為不值得研究。當人們試圖使計算機去具有人腦的識別能力后，模式識別的難度和重要性才得以重視。23第二十三頁，共五十九頁，2022年，8月28日模式識別的產(chǎn)生與發(fā)展隨著計算機技術(shù)的發(fā)展，60年代后模式識別迅速發(fā)展為一門相對獨立的新興交叉學(xué)科明確的問題定義、嚴格的數(shù)學(xué)基礎(chǔ)、堅實的理論框架、豐富的理論和應(yīng)用成果、廣闊的應(yīng)用前景24第二十四頁，共五十九頁，2022年，8月28日模式識別的相關(guān)學(xué)科模式識別人工智能計算機視覺機器學(xué)習(xí)認知科學(xué)心理生物學(xué)25第二十五頁，共五十九頁，2022年，8月28日模式識別的應(yīng)用語音識別與理解（Speechrecognition）語音識別說話人識別語種識別語音情感識別特定人、非特定人母語、非母語孤立音、連續(xù)音26第二十六頁，共五十九頁，2022年，8月28日模式識別的應(yīng)用字符識別（CharacterRecognition）手寫體印刷體漢字、英文、阿拉伯數(shù)字27第二十七頁，共五十九頁，2022年，8月28日模式識別的應(yīng)用生物特征識別指紋識別掌紋識別人臉識別虹膜識別28第二十八頁，共五十九頁，2022年，8月28日模式識別的應(yīng)用生物醫(yī)學(xué)信號識別心電圖、心音、多普勒生物信號、染色體、DNA序列圖像檢索軍事目標跟蹤與識別遙感圖像處理29第二十九頁，共五十九頁，2022年，8月28日研究模式識別的意義通過模式識別的研究和應(yīng)用，提高和擴展計算機的應(yīng)用能力和領(lǐng)域，促進人工智能的應(yīng)用與發(fā)展促進人們對人腦識別過程的理解和認識30第三十頁，共五十九頁，2022年，8月28日模式識別存在的問題模式識別是一門快速發(fā)展的新興學(xué)科，涉及到多學(xué)科、多領(lǐng)域的復(fù)雜問題和生物認知系統(tǒng)相比，現(xiàn)有人工模式識別系統(tǒng)的適應(yīng)和識別能力還遠遠不能令人滿意模式識別的許多理論和基本方法方面的問題還遠沒有得到解決新問題層出不窮傳統(tǒng)方法均存在一定的局限性31第三十一頁，共五十九頁，2022年，8月28日模式識別的理論基礎(chǔ)概率論與數(shù)理統(tǒng)計隨機過程線性代數(shù)優(yōu)化方法形式語言學(xué)32第三十二頁，共五十九頁，2022年，8月28日模式識別的基本方法模式識別方法經(jīng)典方法現(xiàn)代方法統(tǒng)計決策方法句法方法神經(jīng)網(wǎng)絡(luò)方法模糊模式識別33第三十三頁，共五十九頁，2022年，8月28日模式識別的基本方法統(tǒng)計決策法基于模式的定量描述與統(tǒng)計規(guī)律的識別方法，是模式識別最經(jīng)典、最成熟的方法，目前廣泛應(yīng)用于模式識別的各個領(lǐng)域原理：樣本觀測值特征概率統(tǒng)計決策準則分類34第三十四頁，共五十九頁，2022年，8月28日模式識別的基本方法統(tǒng)計方法鮭魚鱸魚決策標準：判別邊界35第三十五頁，共五十九頁，2022年，8月28日模式識別的基本方法句法方法基于模式的空間結(jié)構(gòu)特征的定性描述與形式語言學(xué)的方法，廣泛應(yīng)用于字符識別、圖像識別等領(lǐng)域原理：樣本基元字符串形式語言文法分類36第三十六頁，共五十九頁，2022年，8月28日模式識別的基本方法句法方法定義基元：37第三十七頁，共五十九頁，2022年，8月28日模式識別的基本方法模糊模式識別基于模糊數(shù)學(xué)和統(tǒng)計分析的識別方法，在不能明確描述模式特征和結(jié)構(gòu)的復(fù)雜模式識別問題中得到了成功應(yīng)用根據(jù)隸屬度和模糊文法進行分類模糊模式類很像三角形的圖形遠大于2的整數(shù)清晰模式類三角形大于2的整數(shù)38第三十八頁，共五十九頁，2022年，8月28日模式識別的基本方法神經(jīng)網(wǎng)絡(luò)方法基于現(xiàn)代生物學(xué)和認識科學(xué)對人類信息處理的研究成果采用人工神經(jīng)網(wǎng)絡(luò)模型，使識別和處理過程更接近人類的思維過程39第三十九頁，共五十九頁，2022年，8月28日模式識別的基本方法輸入層(i)輸入層(j)輸入層(k)W

ijW

jk神經(jīng)網(wǎng)絡(luò)方法40第四十頁，共五十九頁，2022年，8月28日模式識別的基本方法神經(jīng)網(wǎng)絡(luò)方法人工神經(jīng)網(wǎng)絡(luò)由相互廣泛連接的神經(jīng)元組成，信息分布于神經(jīng)網(wǎng)絡(luò)中每一節(jié)點的輸入為前一層所有節(jié)點輸出的加權(quán)和通過已知類別樣本的學(xué)習(xí)，調(diào)整各節(jié)點之間的加權(quán)系數(shù)具有自適應(yīng)學(xué)習(xí)能力，適用于并行計算與處理41第四十一頁，共五十九頁，2022年，8月28日模式識別的一般過程無論采用何種方法，模式識別一般都要包括下列兩個基本過程模式識別學(xué)習(xí)過程（設(shè)計過程）識別過程（實現(xiàn)過程）42第四十二頁，共五十九頁，2022年，8月28日模式識別的一般過程學(xué)習(xí)過程通過一批已知類別的學(xué)習(xí)樣本進行分析，推出分類準則。識別過程對末知類別的單個待識樣本，根據(jù)分類準則進行識別分類。43第四十三頁，共五十九頁，2022年，8月28日模式識別的一般過程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理特征提取統(tǒng)計分析分類準則待識樣本數(shù)據(jù)獲取預(yù)處理特征提取識別分類分類結(jié)果統(tǒng)計模式識別的過程44第四十四頁，共五十九頁，2022年，8月28日模式識別的一般過程數(shù)據(jù)獲取采用傳感器(攝像機或麥克風(fēng))，通過測量、采樣和量化，得到反映樣本信息的原始數(shù)據(jù)（一維波形、二維圖像等）數(shù)據(jù)質(zhì)量依賴于傳感器的特性和局限性（如帶寬、分辯率、靈敏度、信噪比等）預(yù)處理采用特定方法，對樣本數(shù)據(jù)進行分割、噪聲濾除、邊緣增加等處理預(yù)處理的方法與樣本對象所屬領(lǐng)域密切相關(guān)（如語音、圖像）

45第四十五頁，共五十九頁，2022年，8月28日特征提取采用特定的方法提取反映樣本本質(zhì)特性的特征（Feature），壓縮原始數(shù)據(jù)。統(tǒng)計分析采用一定的統(tǒng)計方法，通過學(xué)習(xí)樣本的分布規(guī)律，建立識別模型，推斷出分類準則。識別分類根據(jù)分類準則，對待識樣本進行分類。模式識別的一般過程46第四十六頁，共五十九頁，2022年，8月28日模式識別的一般過程句法模式識別的過程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理基元提取文法推斷文法待識樣本數(shù)據(jù)獲取預(yù)處理基元提取句法分析分類結(jié)果47第四十七頁，共五十九頁，2022年，8月28日模式識別系統(tǒng)實現(xiàn)學(xué)習(xí)過程和識別過程的計算機系統(tǒng)稱為模式識別系統(tǒng)，亦稱為分類器。學(xué)習(xí)過程即是分類器的設(shè)計過程識別過程即是分類器的實現(xiàn)過程48第四十八頁，共五十九頁，2022年，8月28日分類器設(shè)計采集數(shù)據(jù)（Datacollection）選擇特征（FeatureChoice）選擇模型（ModelChoice）訓(xùn)練分類器（Training）評價分類器（Evaluation）計算復(fù)雜度（ComputationalComplexity）49第四十九頁，共五十九頁，2022年，8月28日開始采集數(shù)據(jù)選擇特征選擇模型訓(xùn)練分類器評價分類器結(jié)束先驗知識50第五十頁，共五十九頁，2022年，8月28日采集數(shù)據(jù)（DataCollection）在開發(fā)模式識別系統(tǒng)費用中，數(shù)據(jù)據(jù)采集占到令人吃驚的比重為保證分類器的性能，必須有足夠多的訓(xùn)練樣本怎樣才能知道已經(jīng)采集到足夠多有代表性的供訓(xùn)練和測試用的數(shù)據(jù)了呢？ 分類器設(shè)計51第五十一頁，共五十九頁，2022年，8月28日選擇特征（Featurechoice）怎么做才能把先驗知識和訓(xùn)練數(shù)據(jù)有機結(jié)合起來，以發(fā)現(xiàn)有用的和有效的特征呢？分類器設(shè)計52第五十二頁，共五十九頁，2022年，8月28日特征選擇（Featurechoice）依賴于具體的問題（語音識別、圖像識別）選擇反映模式本質(zhì)特性的參數(shù)作為特征使樣本類間距離較大、類內(nèi)距離較小與類別信息不相關(guān)的變換（平移、旋轉(zhuǎn)、尺度變換）具有不變性盡量選擇相關(guān)性小的特征盡可能不受噪聲的干擾53第五十三頁，共五十九頁，2022年，8月28日模型選擇（ModelChoice）怎樣選擇合適的模型，得到識別分類的標準？模型是唯一的嗎？什么樣的模型更優(yōu)呢？分類器設(shè)計54第五十四頁，共五十九頁，2022年，8月28日訓(xùn)練或?qū)W習(xí)（Training）利用樣本數(shù)據(jù)來確定分類器的過程“基于樣本的學(xué)習(xí)”的方法是設(shè)計分類器的最有效的方法。分類器設(shè)計55第五十五頁，共五十九頁，2022年，8月28日評價分類器（Evaluation）識別率誤識