模式識(shí)別課件

模式識(shí)別模式識(shí)別1引言

引言2課程對(duì)象計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課電子科學(xué)與技術(shù)學(xué)科碩士研究生的專業(yè)基礎(chǔ)課

課程對(duì)象3用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識(shí)別出基元（比如場(chǎng)景圖中的X、Y、Z等簡(jiǎn)單平面）和它們之間的連接關(guān)系（例如長(zhǎng)方體E是由X、Y和Z三個(gè)面拼接而成），并用字母符號(hào)代表之；增強(qiáng)或抑制是通過(guò)調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來(lái)（weight）實(shí)現(xiàn)。Stork,PatternClassification,secondedition,2000（有中譯本）.F是模式識(shí)別的判別方法特征空間：分類識(shí)別賴以進(jìn)行的空間模式識(shí)別的應(yīng)用（舉例）蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。解釋空間：將c個(gè)類別表示為第六章句法模式識(shí)別目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問(wèn)題實(shí)例：句法模式識(shí)別（續(xù)）所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。與模式識(shí)別相關(guān)的學(xué)科統(tǒng)計(jì)學(xué)概率論線性代數(shù)（矩陣計(jì)算）形式語(yǔ)言機(jī)器學(xué)習(xí)人工智能圖像處理計(jì)算機(jī)視覺(jué)…用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識(shí)別出基元（比如場(chǎng)景圖中4教學(xué)方法著重講述模式識(shí)別的基本概念，基本方法和算法原理。注重理論與實(shí)踐緊密結(jié)合實(shí)例教學(xué)：通過(guò)大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。

教學(xué)方法著重講述模式識(shí)別的基本概念，基本方法和算法原理。5教學(xué)目標(biāo)掌握模式識(shí)別的基本概念和方法有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問(wèn)題為研究新的模式識(shí)別的理論和方法打下基礎(chǔ)

教學(xué)目標(biāo)掌握模式識(shí)別的基本概念和方法6題外話基本：完成課程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。提高：能夠?qū)⑺鶎W(xué)知識(shí)和內(nèi)容用于課題研究，解決實(shí)際問(wèn)題。飛躍：通過(guò)模式識(shí)別的學(xué)習(xí)，改進(jìn)思維方式，為將來(lái)的工作打好基礎(chǔ)，終身受益。題外話基本：完成課程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。7教材/參考文獻(xiàn)R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中譯本）.邊肇祺，模式識(shí)別（第二版），清華大學(xué)出版社，2000。蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。教材/參考文獻(xiàn)R.Duda,P.Hart,D.St8機(jī)構(gòu)、會(huì)議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”（此后兩年一次），成立了國(guó)際模式識(shí)別協(xié)會(huì)---“IAPR”1977年IEEE成立PAMI委員會(huì)，創(chuàng)立IEEETrans.onPAMI，并支持ICCV,CVPR兩個(gè)會(huì)議其他刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysisandApplication(PAA)InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)機(jī)構(gòu)、會(huì)議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識(shí)別9第一章模式識(shí)別概論第一章模式識(shí)別概論10什么是模式（Pattern）？什么是模式（Pattern）？11什么是模式？廣義地說(shuō)，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性什么是模式？廣義地說(shuō)，存在于時(shí)間和空間中可觀察的物體，如果我12模式識(shí)別的概念模式識(shí)別–直觀，無(wú)所不在，“人以類聚，物以群分”周圍物體的認(rèn)知：桌子、椅子人的識(shí)別：張三、李四聲音的辨別：汽車、火車，狗叫、人語(yǔ)氣味的分辨：炸帶魚(yú)、紅燒肉人和動(dòng)物的模式識(shí)別能力是極其平常的，但對(duì)計(jì)算機(jī)來(lái)說(shuō)卻是非常困難的。模式識(shí)別的概念模式識(shí)別–直觀，無(wú)所不在，“人以類聚，物以13模式識(shí)別的研究目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集Y的值域?yàn)轭悇e的標(biāo)號(hào)集F是模式識(shí)別的判別方法模式識(shí)別的研究目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率14模式識(shí)別簡(jiǎn)史1929年G.Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。50年代NoamChemsky提出形式語(yǔ)言理論——傅京蓀提出句法結(jié)構(gòu)模式識(shí)別。60年代提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識(shí)別得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。模式識(shí)別簡(jiǎn)史1929年G.Tauschek發(fā)明閱讀機(jī)，15模式識(shí)別的應(yīng)用（舉例）生物學(xué)自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測(cè)、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析模式識(shí)別的應(yīng)用（舉例）生物學(xué)16二維圖像：文字、指紋、地圖、照片等60年代提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。實(shí)例：句法模式識(shí)別（續(xù)）所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。模式識(shí)別的應(yīng)用（舉例）19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫(xiě)性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。人和動(dòng)物的模式識(shí)別能力是極其平常的，但對(duì)計(jì)算機(jī)來(lái)說(shuō)卻是非常困難的。預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原Y的值域?yàn)轭悇e的標(biāo)號(hào)集第五章 特征選擇和提取模式識(shí)別的應(yīng)用（舉例）工程產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語(yǔ)音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析軍事航空攝像分析、雷達(dá)和聲納信號(hào)檢測(cè)和分類、自動(dòng)目標(biāo)識(shí)別安全指紋識(shí)別、人臉識(shí)別、監(jiān)視和報(bào)警系統(tǒng)二維圖像：文字、指紋、地圖、照片等模式識(shí)別的應(yīng)用（舉例）工程17模式識(shí)別方法模式識(shí)別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說(shuō)。特征空間：從模式得到的對(duì)分類有用的度量、屬性或基元構(gòu)成的空間。解釋空間：將c個(gè)類別表示為 其中為所屬類別的集合，稱為解釋空間。模式識(shí)別方法模式識(shí)別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到18解釋空間：將c個(gè)類別表示為在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類模式識(shí)別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說(shuō)。其中為所屬類別的集合，稱為解釋空間。蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課訓(xùn)練樣本：15名已知性別的樣本特征實(shí)例教學(xué)：通過(guò)大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中模式識(shí)別的應(yīng)用（舉例）Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字?；荆和瓿烧n程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說(shuō)：在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。假說(shuō)的兩種獲得方法監(jiān)督學(xué)習(xí)、概念驅(qū)動(dòng)或歸納假說(shuō)：在特征空間中找到一個(gè)與解釋空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。在給定模式下假定一個(gè)解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說(shuō)也都必須在“未知”的樣本上得到近似的結(jié)果。依靠已知所屬類別的的訓(xùn)練樣本集，按它們特征向量的分布來(lái)確定假說(shuō)（通常為一個(gè)判別函數(shù)），只有在判別函數(shù)確定之后才能用它對(duì)未知的模式進(jìn)行分類；對(duì)分類的模式要有足夠的先驗(yàn)知識(shí)，通常需要采集足夠數(shù)量的具有典型性的樣本進(jìn)行訓(xùn)練。解釋空間：將c個(gè)類別表示為假說(shuō)的兩種獲得方法監(jiān)督學(xué)習(xí)、概念驅(qū)19假說(shuō)的兩種獲得方法（續(xù)）非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說(shuō)：在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說(shuō)。在沒(méi)有先驗(yàn)知識(shí)的情況下，通常采用聚類分析方法，基于“物以類聚”的觀點(diǎn)，用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況；如果特征向量集聚集若干個(gè)群，可按群間距離遠(yuǎn)近把它們劃分成類；這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。假說(shuō)的兩種獲得方法（續(xù)）非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說(shuō)：在解20模式分類的主要方法數(shù)據(jù)聚類統(tǒng)計(jì)分類結(jié)構(gòu)模式識(shí)別神經(jīng)網(wǎng)絡(luò)模式分類的主要方法數(shù)據(jù)聚類21數(shù)據(jù)聚類目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動(dòng)的。數(shù)據(jù)聚類目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的22統(tǒng)計(jì)分類基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布，以取得分類的方法。特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。是一種監(jiān)督分類的方法，分類器是概念驅(qū)動(dòng)的。統(tǒng)計(jì)分類基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布，以取得分23結(jié)構(gòu)模式識(shí)別該方法通過(guò)考慮識(shí)別對(duì)象的各部分之間的聯(lián)系來(lái)達(dá)到識(shí)別分類的目的。識(shí)別采用結(jié)構(gòu)匹配的形式，通過(guò)計(jì)算一個(gè)匹配程度值（matchingscore）來(lái)評(píng)估一個(gè)未知的對(duì)象或未知對(duì)象某些部分與某種典型模式的關(guān)系如何。當(dāng)成功地制定出了一組可以描述對(duì)象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識(shí)別方法–句法模式識(shí)別，來(lái)檢查一個(gè)模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語(yǔ)法。結(jié)構(gòu)模式識(shí)別該方法通過(guò)考慮識(shí)別對(duì)象的各部分之間的聯(lián)系來(lái)達(dá)到識(shí)24神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強(qiáng)或抑制信號(hào)。增強(qiáng)或抑制是通過(guò)調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來(lái)（weight）實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。25模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計(jì)模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處26模式識(shí)別系統(tǒng)組成單元數(shù)據(jù)獲?。河糜?jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所研究的對(duì)象二維圖像：文字、指紋、地圖、照片等一維波形：腦電圖、心電圖、季節(jié)震動(dòng)波形等物理參量和邏輯值：體溫、化驗(yàn)數(shù)據(jù)、參量正常與否的描述預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原模式識(shí)別系統(tǒng)組成單元數(shù)據(jù)獲取：用計(jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所27模式識(shí)別系統(tǒng)組成單元特征提取和選擇：對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征測(cè)量空間：原始數(shù)據(jù)組成的空間特征空間：分類識(shí)別賴以進(jìn)行的空間模式表示：維數(shù)較高的測(cè)量空間->維數(shù)較低的特征空間分類決策：在特征空間中用模式識(shí)別方法把被識(shí)別對(duì)象歸為某一類別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使得按這種規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小模式識(shí)別系統(tǒng)組成單元特征提取和選擇：對(duì)原始數(shù)據(jù)進(jìn)行變換，得到28模式識(shí)別過(guò)程實(shí)例在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類 鱸魚(yú)(Seabass)

品種 鮭魚(yú)(Salmon)模式識(shí)別過(guò)程實(shí)例在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類29識(shí)別過(guò)程數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù)預(yù)處理：去噪聲，用一個(gè)分割操作把魚(yú)和魚(yú)之間以及魚(yú)和背景之間分開(kāi)識(shí)別過(guò)程數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本30識(shí)別過(guò)程特征提取和選擇：對(duì)單個(gè)魚(yú)的信息進(jìn)行特征選擇，從而通過(guò)測(cè)量某些特征來(lái)減少信息量長(zhǎng)度亮度寬度魚(yú)翅的數(shù)量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器識(shí)別過(guò)程特征提取和選擇：對(duì)單個(gè)魚(yú)的信息進(jìn)行特征選擇，從而通過(guò)31模式識(shí)別課件32模式識(shí)別課件33模式識(shí)別課件34模式識(shí)別課件35模式識(shí)別課件36模式識(shí)別課件37模式分類器的獲取和評(píng)測(cè)過(guò)程數(shù)據(jù)采集特征選取模型選擇訓(xùn)練和測(cè)試計(jì)算結(jié)果和復(fù)雜度分析，反饋模式分類器的獲取和評(píng)測(cè)過(guò)程數(shù)據(jù)采集38模式識(shí)別課件39訓(xùn)練和測(cè)試訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)開(kāi)發(fā)出模式分類器。測(cè)試集：在設(shè)計(jì)識(shí)別和分類系統(tǒng)時(shí)沒(méi)有用過(guò)的獨(dú)立樣本集。系統(tǒng)評(píng)價(jià)原則：為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià)，必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試。訓(xùn)練和測(cè)試訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)40實(shí)例：統(tǒng)計(jì)模式識(shí)別19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫(xiě)性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：實(shí)例：統(tǒng)計(jì)模式識(shí)別19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，41實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）待識(shí)別的模式：性別（男或女）測(cè)量的特征：身高和體重訓(xùn)練樣本：15名已知性別的樣本特征目標(biāo)：希望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）待識(shí)別的模式：性別（男或女）42實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）由訓(xùn)練樣本得到的特征空間分布圖實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）由訓(xùn)練樣本得到的特征空間分布圖43實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）從圖中訓(xùn)練樣本的分布情況，找出男、女兩類特征各自的聚類特點(diǎn)，從而求取一個(gè)判別函數(shù)（直線或曲線）。只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）從圖中訓(xùn)練樣本的分布情況，找出男、女44實(shí)例：句法模式識(shí)別問(wèn)題：如何利用對(duì)圖像的結(jié)構(gòu)信息描述，識(shí)別如下所示圖片：實(shí)例：句法模式識(shí)別問(wèn)題：如何利用對(duì)圖像的結(jié)構(gòu)信息描述，識(shí)別如45實(shí)例：句法模式識(shí)別（續(xù)）將整個(gè)場(chǎng)景圖像結(jié)構(gòu)分解成一些比較簡(jiǎn)單的子圖像的組合；子圖像又用一些更為簡(jiǎn)單的基本圖像單元來(lái)表示，直至子圖像達(dá)到了我們認(rèn)為的最簡(jiǎn)單的圖像單元（基元）；所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。實(shí)例：句法模式識(shí)別（續(xù)）將整個(gè)場(chǎng)景圖像結(jié)構(gòu)分解成一些比較簡(jiǎn)單46實(shí)例：句法模式識(shí)別（續(xù)）多級(jí)樹(shù)描述結(jié)構(gòu)實(shí)例：句法模式識(shí)別（續(xù)）多級(jí)樹(shù)描述結(jié)構(gòu)47實(shí)例：句法模式識(shí)別（續(xù)）訓(xùn)練過(guò)程：用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識(shí)別出基元（比如場(chǎng)景圖中的X、Y、Z等簡(jiǎn)單平面）和它們之間的連接關(guān)系（例如長(zhǎng)方體E是由X、Y和Z三個(gè)面拼接而成），并用字母符號(hào)代表之；然后用構(gòu)造句子的文法來(lái)描述生成這幅場(chǎng)景的過(guò)程，由此推斷出生成該場(chǎng)景的一種文法。實(shí)例：句法模式識(shí)別（續(xù)）訓(xùn)練過(guò)程：48實(shí)例：句法模式識(shí)別（續(xù)）識(shí)別過(guò)程：先對(duì)未知結(jié)構(gòu)信息的圖像進(jìn)行基元提取及其相互結(jié)構(gòu)關(guān)系的識(shí)別；然后用訓(xùn)練過(guò)程獲得的文法做句法分析；如果能被已知結(jié)構(gòu)信息的文法分析出來(lái)，則該幅未知圖像與訓(xùn)練樣本具有相同的結(jié)構(gòu)（識(shí)別成功），否則就不是這種結(jié)構(gòu)（識(shí)別失?。?。實(shí)例：句法模式識(shí)別（續(xù)）識(shí)別過(guò)程：49InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語(yǔ)音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析模式識(shí)別的應(yīng)用（舉例）實(shí)例：句法模式識(shí)別（續(xù)）1977年IEEE成立PAMI委員會(huì)，創(chuàng)立IEEETrans.計(jì)算結(jié)果和復(fù)雜度分析，反饋19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫(xiě)性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。模式識(shí)別的應(yīng)用（舉例）系統(tǒng)評(píng)價(jià)原則：為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià)，必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試。其中為所屬類別的集合，稱為解釋空間。式中，x1,x2,…,xn為特征向量x的各個(gè)分量。只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。本門課程的主要內(nèi)容第一章概論第二章聚類分析第三章判別函數(shù)第四章統(tǒng)計(jì)識(shí)別第五章 特征選擇和提取第六章句法模式識(shí)別第七章神經(jīng)網(wǎng)絡(luò)InternationalJournalofPatte50相關(guān)數(shù)學(xué)概念隨機(jī)向量及其分布隨機(jī)向量如果一個(gè)對(duì)象的特征觀察值為{x1,x2,…,xn}，它可構(gòu)成一個(gè)n維的特征向量值x，即

x=(x1,x2,…,xn)T

式中，x1,x2,…,xn為特征向量x的各個(gè)分量。一個(gè)特征可以看作n維空間中的向量或點(diǎn)，此空間稱為模式的特征空間Rn

。相關(guān)數(shù)學(xué)概念隨機(jī)向量及其分布51相關(guān)數(shù)學(xué)概念隨機(jī)向量及其分布隨機(jī)向量在模式識(shí)別過(guò)程中，要對(duì)許多具體對(duì)象進(jìn)行測(cè)量，以獲得許多次觀測(cè)值。每次觀測(cè)值不一定相同，所以對(duì)許多對(duì)象而言，各個(gè)特征分量都是隨即變量，即許多對(duì)象的特征向量在n維空間中呈隨機(jī)性分布，稱為隨即向量。相關(guān)數(shù)學(xué)概念隨機(jī)向量及其分布52相關(guān)數(shù)學(xué)概念隨機(jī)向量及其分布隨機(jī)向量的參數(shù)[數(shù)學(xué)期望][協(xié)方差矩陣]相關(guān)數(shù)學(xué)概念隨機(jī)向量及其分布53相關(guān)數(shù)學(xué)概念正態(tài)分布[一維正態(tài)密度函數(shù)]相關(guān)數(shù)學(xué)概念正態(tài)分布54相關(guān)數(shù)學(xué)概念正態(tài)分布[多維正態(tài)密度函數(shù)]相關(guān)數(shù)學(xué)概念正態(tài)分布55模式識(shí)別模式識(shí)別56引言

引言57課程對(duì)象計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課電子科學(xué)與技術(shù)學(xué)科碩士研究生的專業(yè)基礎(chǔ)課

課程對(duì)象58用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識(shí)別出基元（比如場(chǎng)景圖中的X、Y、Z等簡(jiǎn)單平面）和它們之間的連接關(guān)系（例如長(zhǎng)方體E是由X、Y和Z三個(gè)面拼接而成），并用字母符號(hào)代表之；增強(qiáng)或抑制是通過(guò)調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來(lái)（weight）實(shí)現(xiàn)。Stork,PatternClassification,secondedition,2000（有中譯本）.F是模式識(shí)別的判別方法特征空間：分類識(shí)別賴以進(jìn)行的空間模式識(shí)別的應(yīng)用（舉例）蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。解釋空間：將c個(gè)類別表示為第六章句法模式識(shí)別目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問(wèn)題實(shí)例：句法模式識(shí)別（續(xù)）所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。與模式識(shí)別相關(guān)的學(xué)科統(tǒng)計(jì)學(xué)概率論線性代數(shù)（矩陣計(jì)算）形式語(yǔ)言機(jī)器學(xué)習(xí)人工智能圖像處理計(jì)算機(jī)視覺(jué)…用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識(shí)別出基元（比如場(chǎng)景圖中59教學(xué)方法著重講述模式識(shí)別的基本概念，基本方法和算法原理。注重理論與實(shí)踐緊密結(jié)合實(shí)例教學(xué)：通過(guò)大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。

教學(xué)方法著重講述模式識(shí)別的基本概念，基本方法和算法原理。60教學(xué)目標(biāo)掌握模式識(shí)別的基本概念和方法有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問(wèn)題為研究新的模式識(shí)別的理論和方法打下基礎(chǔ)

教學(xué)目標(biāo)掌握模式識(shí)別的基本概念和方法61題外話基本：完成課程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。提高：能夠?qū)⑺鶎W(xué)知識(shí)和內(nèi)容用于課題研究，解決實(shí)際問(wèn)題。飛躍：通過(guò)模式識(shí)別的學(xué)習(xí)，改進(jìn)思維方式，為將來(lái)的工作打好基礎(chǔ)，終身受益。題外話基本：完成課程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。62教材/參考文獻(xiàn)R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中譯本）.邊肇祺，模式識(shí)別（第二版），清華大學(xué)出版社，2000。蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。教材/參考文獻(xiàn)R.Duda,P.Hart,D.St63機(jī)構(gòu)、會(huì)議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”（此后兩年一次），成立了國(guó)際模式識(shí)別協(xié)會(huì)---“IAPR”1977年IEEE成立PAMI委員會(huì)，創(chuàng)立IEEETrans.onPAMI，并支持ICCV,CVPR兩個(gè)會(huì)議其他刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysisandApplication(PAA)InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)機(jī)構(gòu)、會(huì)議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識(shí)別64第一章模式識(shí)別概論第一章模式識(shí)別概論65什么是模式（Pattern）？什么是模式（Pattern）？66什么是模式？廣義地說(shuō)，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性什么是模式？廣義地說(shuō)，存在于時(shí)間和空間中可觀察的物體，如果我67模式識(shí)別的概念模式識(shí)別–直觀，無(wú)所不在，“人以類聚，物以群分”周圍物體的認(rèn)知：桌子、椅子人的識(shí)別：張三、李四聲音的辨別：汽車、火車，狗叫、人語(yǔ)氣味的分辨：炸帶魚(yú)、紅燒肉人和動(dòng)物的模式識(shí)別能力是極其平常的，但對(duì)計(jì)算機(jī)來(lái)說(shuō)卻是非常困難的。模式識(shí)別的概念模式識(shí)別–直觀，無(wú)所不在，“人以類聚，物以68模式識(shí)別的研究目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集Y的值域?yàn)轭悇e的標(biāo)號(hào)集F是模式識(shí)別的判別方法模式識(shí)別的研究目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率69模式識(shí)別簡(jiǎn)史1929年G.Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。50年代NoamChemsky提出形式語(yǔ)言理論——傅京蓀提出句法結(jié)構(gòu)模式識(shí)別。60年代提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識(shí)別得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。模式識(shí)別簡(jiǎn)史1929年G.Tauschek發(fā)明閱讀機(jī)，70模式識(shí)別的應(yīng)用（舉例）生物學(xué)自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測(cè)、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析模式識(shí)別的應(yīng)用（舉例）生物學(xué)71二維圖像：文字、指紋、地圖、照片等60年代提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用。實(shí)例：句法模式識(shí)別（續(xù)）所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。模式識(shí)別的應(yīng)用（舉例）19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫(xiě)性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。人和動(dòng)物的模式識(shí)別能力是極其平常的，但對(duì)計(jì)算機(jī)來(lái)說(shuō)卻是非常困難的。預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原Y的值域?yàn)轭悇e的標(biāo)號(hào)集第五章 特征選擇和提取模式識(shí)別的應(yīng)用（舉例）工程產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語(yǔ)音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析軍事航空攝像分析、雷達(dá)和聲納信號(hào)檢測(cè)和分類、自動(dòng)目標(biāo)識(shí)別安全指紋識(shí)別、人臉識(shí)別、監(jiān)視和報(bào)警系統(tǒng)二維圖像：文字、指紋、地圖、照片等模式識(shí)別的應(yīng)用（舉例）工程72模式識(shí)別方法模式識(shí)別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說(shuō)。特征空間：從模式得到的對(duì)分類有用的度量、屬性或基元構(gòu)成的空間。解釋空間：將c個(gè)類別表示為 其中為所屬類別的集合，稱為解釋空間。模式識(shí)別方法模式識(shí)別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到73解釋空間：將c個(gè)類別表示為在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類模式識(shí)別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說(shuō)。其中為所屬類別的集合，稱為解釋空間。蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課訓(xùn)練樣本：15名已知性別的樣本特征實(shí)例教學(xué)：通過(guò)大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中模式識(shí)別的應(yīng)用（舉例）Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字?；荆和瓿烧n程學(xué)習(xí)，通過(guò)考試，獲得學(xué)分。非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說(shuō)：在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。所有這些基元按一定的結(jié)構(gòu)關(guān)系來(lái)表示，利用多級(jí)樹(shù)結(jié)構(gòu)對(duì)其進(jìn)行描述（這種描述可以采用形式語(yǔ)言理論）。假說(shuō)的兩種獲得方法監(jiān)督學(xué)習(xí)、概念驅(qū)動(dòng)或歸納假說(shuō)：在特征空間中找到一個(gè)與解釋空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。在給定模式下假定一個(gè)解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說(shuō)也都必須在“未知”的樣本上得到近似的結(jié)果。依靠已知所屬類別的的訓(xùn)練樣本集，按它們特征向量的分布來(lái)確定假說(shuō)（通常為一個(gè)判別函數(shù)），只有在判別函數(shù)確定之后才能用它對(duì)未知的模式進(jìn)行分類；對(duì)分類的模式要有足夠的先驗(yàn)知識(shí)，通常需要采集足夠數(shù)量的具有典型性的樣本進(jìn)行訓(xùn)練。解釋空間：將c個(gè)類別表示為假說(shuō)的兩種獲得方法監(jiān)督學(xué)習(xí)、概念驅(qū)74假說(shuō)的兩種獲得方法（續(xù)）非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說(shuō)：在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對(duì)應(yīng)的假說(shuō)。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說(shuō)。在沒(méi)有先驗(yàn)知識(shí)的情況下，通常采用聚類分析方法，基于“物以類聚”的觀點(diǎn)，用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況；如果特征向量集聚集若干個(gè)群，可按群間距離遠(yuǎn)近把它們劃分成類；這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。假說(shuō)的兩種獲得方法（續(xù)）非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)或演繹假說(shuō)：在解75模式分類的主要方法數(shù)據(jù)聚類統(tǒng)計(jì)分類結(jié)構(gòu)模式識(shí)別神經(jīng)網(wǎng)絡(luò)模式分類的主要方法數(shù)據(jù)聚類76數(shù)據(jù)聚類目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動(dòng)的。數(shù)據(jù)聚類目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的77統(tǒng)計(jì)分類基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布，以取得分類的方法。特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。是一種監(jiān)督分類的方法，分類器是概念驅(qū)動(dòng)的。統(tǒng)計(jì)分類基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布，以取得分78結(jié)構(gòu)模式識(shí)別該方法通過(guò)考慮識(shí)別對(duì)象的各部分之間的聯(lián)系來(lái)達(dá)到識(shí)別分類的目的。識(shí)別采用結(jié)構(gòu)匹配的形式，通過(guò)計(jì)算一個(gè)匹配程度值（matchingscore）來(lái)評(píng)估一個(gè)未知的對(duì)象或未知對(duì)象某些部分與某種典型模式的關(guān)系如何。當(dāng)成功地制定出了一組可以描述對(duì)象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識(shí)別方法–句法模式識(shí)別，來(lái)檢查一個(gè)模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語(yǔ)法。結(jié)構(gòu)模式識(shí)別該方法通過(guò)考慮識(shí)別對(duì)象的各部分之間的聯(lián)系來(lái)達(dá)到識(shí)79神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強(qiáng)或抑制信號(hào)。增強(qiáng)或抑制是通過(guò)調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來(lái)（weight）實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。80模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計(jì)模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處81模式識(shí)別系統(tǒng)組成單元數(shù)據(jù)獲取：用計(jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所研究的對(duì)象二維圖像：文字、指紋、地圖、照片等一維波形：腦電圖、心電圖、季節(jié)震動(dòng)波形等物理參量和邏輯值：體溫、化驗(yàn)數(shù)據(jù)、參量正常與否的描述預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原模式識(shí)別系統(tǒng)組成單元數(shù)據(jù)獲?。河糜?jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所82模式識(shí)別系統(tǒng)組成單元特征提取和選擇：對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征測(cè)量空間：原始數(shù)據(jù)組成的空間特征空間：分類識(shí)別賴以進(jìn)行的空間模式表示：維數(shù)較高的測(cè)量空間->維數(shù)較低的特征空間分類決策：在特征空間中用模式識(shí)別方法把被識(shí)別對(duì)象歸為某一類別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使得按這種規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小模式識(shí)別系統(tǒng)組成單元特征提取和選擇：對(duì)原始數(shù)據(jù)進(jìn)行變換，得到83模式識(shí)別過(guò)程實(shí)例在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類 鱸魚(yú)(Seabass)

品種 鮭魚(yú)(Salmon)模式識(shí)別過(guò)程實(shí)例在傳送帶上用光學(xué)傳感器件對(duì)魚(yú)按品種分類84識(shí)別過(guò)程數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù)預(yù)處理：去噪聲，用一個(gè)分割操作把魚(yú)和魚(yú)之間以及魚(yú)和背景之間分開(kāi)識(shí)別過(guò)程數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本85識(shí)別過(guò)程特征提取和選擇：對(duì)單個(gè)魚(yú)的信息進(jìn)行特征選擇，從而通過(guò)測(cè)量某些特征來(lái)減少信息量長(zhǎng)度亮度寬度魚(yú)翅的數(shù)量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器識(shí)別過(guò)程特征提取和選擇：對(duì)單個(gè)魚(yú)的信息進(jìn)行特征選擇，從而通過(guò)86模式識(shí)別課件87模式識(shí)別課件88模式識(shí)別課件89模式識(shí)別課件90模式識(shí)別課件91模式識(shí)別課件92模式分類器的獲取和評(píng)測(cè)過(guò)程數(shù)據(jù)采集特征選取模型選擇訓(xùn)練和測(cè)試計(jì)算結(jié)果和復(fù)雜度分析，反饋模式分類器的獲取和評(píng)測(cè)過(guò)程數(shù)據(jù)采集93模式識(shí)別課件94訓(xùn)練和測(cè)試訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)開(kāi)發(fā)出模式分類器。測(cè)試集：在設(shè)計(jì)識(shí)別和分類系統(tǒng)時(shí)沒(méi)有用過(guò)的獨(dú)立樣本集。系統(tǒng)評(píng)價(jià)原則：為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià)，必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試。訓(xùn)練和測(cè)試訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)95實(shí)例：統(tǒng)計(jì)模式識(shí)別19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫(xiě)性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：實(shí)例：統(tǒng)計(jì)模式識(shí)別19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，96實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）待識(shí)別的模式：性別（男或女）測(cè)量的特征：身高和體重訓(xùn)練樣本：15名已知性別的樣本特征目標(biāo)：希望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）待識(shí)別的模式：性別（男或女）97實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）由訓(xùn)練樣本得到的特征空間分布圖實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）由訓(xùn)練樣本得到的特征空間分布圖98實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）從圖中訓(xùn)練樣本的分布情況，找出男、女兩類特征各自的聚類特點(diǎn)，從而求取一個(gè)判別函數(shù)（直線或曲線）。只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。實(shí)例：統(tǒng)計(jì)模式識(shí)別（續(xù)）從圖中訓(xùn)練樣本的分布情況，找出男、女99實(shí)例：句法模式識(shí)別問(wèn)題：如何利用對(duì)圖像的結(jié)構(gòu)信息描述，識(shí)別如下所示圖片：實(shí)例：句法模式識(shí)別問(wèn)題：如何利用對(duì)圖像的結(jié)構(gòu)信息描述，識(shí)別如100實(shí)例：句法模式識(shí)別（續(xù)）將整個(gè)場(chǎng)景圖像結(jié)構(gòu)分解成一些比較簡(jiǎn)單的子圖像的組合；子圖像又用一些更為簡(jiǎn)單的基本圖像單元來(lái)表示，直至子圖像達(dá)到了我們認(rèn)為的最簡(jiǎn)單的圖像單元（基元）；所有這些基元按一定