分類模型 特征表示 (作業(yè)第四周講)- 330

分類模型&特征表示Classificationmodel&featuressaid主講人：juan日期：2015年3月30日《計(jì)算機(jī)視覺》--周平2024/5/12#4查準(zhǔn)率和查全率特征表示目錄#1#2#3模式識(shí)別分類模型2024/5/132024/5/14一、模式識(shí)別定義1：將一個(gè)目標(biāo)實(shí)例以一個(gè)目標(biāo)原型或類別定義進(jìn)行匹配的過程成為驗(yàn)證。（e:銀行自動(dòng)柜員機(jī)）模式識(shí)別是根據(jù)輸入的原始數(shù)據(jù)對(duì)其進(jìn)行各種分析判斷，從而得到其類別屬性，特征判斷的過程。模式是存在于時(shí)間和空間中的可觀察的事物，如果我們可以區(qū)別它們是否相同或者是否相似，那我們從這種事物所獲取的信息就可以稱之為模式。 人們?yōu)榱苏莆湛陀^的事物，往往會(huì)按照事物的相似程度組成類別，而模式識(shí)別的作用和目的就在于把某一個(gè)具體的事物正確的歸入某一個(gè)類別。 識(shí)別的一個(gè)定義是再認(rèn)識(shí)?！叭艘灶惥?，物以群分” 用計(jì)算機(jī)實(shí)現(xiàn)人對(duì)各種事物或現(xiàn)象的分析、描述、判斷、識(shí)別。2024/5/15用例子說明，哪些是模式識(shí)別的范疇：1．將鉛筆、鋼筆、圓珠筆、毛筆、彩筆都?xì)w類為書寫用的“筆”；2．醫(yī)生根據(jù)心電圖化驗(yàn)單來判斷病人是否得心臟病；3．警察根據(jù)指紋來進(jìn)行身份驗(yàn)證；4．利用計(jì)算機(jī)進(jìn)行字符識(shí)別；5．根據(jù)用戶的虹膜進(jìn)行身份識(shí)別；（虹膜與指紋一樣獨(dú)一無二）6．判斷當(dāng)前用戶發(fā)出的聲音是什么字符；7．判斷當(dāng)前圖片中是否有行人、人臉、車輛等；8．對(duì)出現(xiàn)在圖片序列中的行人、車輛進(jìn)行跟蹤；9．對(duì)圖片中的人臉進(jìn)行身份識(shí)別驗(yàn)證；10．對(duì)車輛的拍照進(jìn)行識(shí)別；11．判斷車輛的顏色、車型；12．在海量圖片庫(kù)當(dāng)中尋找與某一張圖片相似的若干圖片；13．根據(jù)用戶哼唱的音調(diào)搜索對(duì)應(yīng)的歌曲......二、分類模型2024/5/18

一個(gè)理想類別是一些具有重要工頭屬性的目標(biāo)的集合在實(shí)際中，某目標(biāo)所屬類別用類別標(biāo)號(hào)來標(biāo)識(shí)。分類就是根據(jù)目標(biāo)的屬性表示賦予目標(biāo)類別號(hào)的過程。分類器是一種設(shè)備或算法，她輸入的是目標(biāo)的表示，輸出的是類別標(biāo)號(hào)。

拒絕類別是無法歸入任何已知類別的目標(biāo)設(shè)置的通用類別。特征空間：從模式得到的對(duì)分類有用的度量、屬性或基元構(gòu)成的空間。解釋空間：將C個(gè)類別表示為，其中為所屬類別的集合，稱為解釋空間。

二、分類模型分類任務(wù)的輸入數(shù)據(jù)是記錄的集合。每條記錄也稱實(shí)例或者樣例，用元組（x,y）表示，其中x是屬性的集合，而y是一個(gè)特殊的屬性，指出樣例的類標(biāo)號(hào)（也成為分類屬性或目標(biāo)屬性）。2024/5/19分類（classification通過學(xué)習(xí)得到一個(gè)目標(biāo)函數(shù)（targetfunction），也成為分類模型（classificationmodel），把每個(gè)屬性集x映射到一個(gè)預(yù)先定義的類標(biāo)號(hào)y。目的：1、描述性建模

分類模型可以作為解釋性的工具，用于區(qū)分不同類中的對(duì)象。2、預(yù)測(cè)性建模

分類模型還可以用于預(yù)測(cè)未知記錄的類標(biāo)號(hào)。2024/5/110分類2024/5/111輸入屬性集（x）

分類模型輸出類標(biāo)號(hào)（y）解決分類問題的一般方法2024/5/112表中每個(gè)表項(xiàng)表示實(shí)際類標(biāo)號(hào)為i但是被預(yù)測(cè)為類j的記錄數(shù)。被分類模型正確預(yù)測(cè)的樣本總數(shù)是，而被錯(cuò)誤預(yù)測(cè)的樣本總數(shù)是。2024/5/113二類問題的混淆矩陣2024/5/114二類問題的混淆矩陣同樣，分類模型的性能也可以用錯(cuò)誤率（errorrate）來表示，其定義如下：目標(biāo)：尋求最高的準(zhǔn)確率或者最低的錯(cuò)誤率雖然混淆矩陣提供衡量分類模型的信息，但是用一個(gè)數(shù)匯總這些信息更便于比較不同模型的性能。為實(shí)現(xiàn)這一目的，可以使用性能度量（performancemetric），如準(zhǔn)確率（accuracy），其定義如下：2024/5/115三、查準(zhǔn)率查全率定義1：文檔檢測(cè)系統(tǒng)的查準(zhǔn)率，是檢索出的相關(guān)文檔數(shù)（屬于C1類）與檢索出的文檔總數(shù)（屬于C1類的文檔數(shù)加上實(shí)際是C2類的誤報(bào)文檔數(shù)）之比。定義2：文檔檢索系統(tǒng)的查全率，是檢索出的相關(guān)文檔數(shù)與數(shù)據(jù)庫(kù)中總的相關(guān)文檔數(shù)之比，即分子是檢索出的屬于C1的文檔數(shù)，分母是檢索出的屬于C1的文檔數(shù)與漏報(bào)的文檔數(shù)之和。2024/5/116查準(zhǔn)率和查全率假設(shè)一個(gè)圖像數(shù)據(jù)庫(kù)包含200張用戶感興趣的日落圖像，用戶希望能與查詢圖像匹配。假設(shè)系統(tǒng)檢索出200個(gè)相關(guān)圖像中的150幅以及另外100幅歐諾個(gè)戶不感興趣的圖像。 這次檢索（分類）的查準(zhǔn)率是：150/250=60% 查全率是：150/200=75%如果系統(tǒng)將數(shù)據(jù)庫(kù)中的所有圖像返回，則查全率是100%，但查準(zhǔn)率將非常低，另一方面，如果分類是為了低誤報(bào)率的話，查準(zhǔn)率將偏高，而查全率將偏低。什么是圖像特征?理想的特征描述符應(yīng)該具有：可重復(fù)性、可區(qū)分性、集中以及高效等特性；還需要能夠應(yīng)對(duì)圖像亮度變化、尺度變化、旋轉(zhuǎn)和仿射變換等變化的影響。計(jì)算機(jī)視覺中通常把角點(diǎn)（corner）作為是圖像的特征，而角點(diǎn)能夠作為圖像特征點(diǎn)的原因有以下兩點(diǎn)：1、角點(diǎn)具有唯一的可識(shí)別性，當(dāng)然，這是基于兩幅圖像沒有非常大的差別的前提下適用的；2、角點(diǎn)具有穩(wěn)定性，換句話說，就是當(dāng)該點(diǎn)有微小的運(yùn)動(dòng)時(shí)，就會(huì)產(chǎn)生明顯的變化。于是，可以清晰的看到該點(diǎn)的移動(dòng)，這有利于特征點(diǎn)的跟蹤；對(duì)于圖像上其它的特征描述，如邊（edge），區(qū)域（patch）等，用數(shù)學(xué)的語言來描述，就是，這些特征點(diǎn)變化性比較小。如某一灰度相似的區(qū)域，其一階導(dǎo)數(shù)為常數(shù)，二階導(dǎo)數(shù)也為常數(shù)。因此，若選取一幅圖像中這樣的某個(gè)區(qū)域作為特征，則在另一幅圖像中，便很難找到同時(shí)滿足唯一可識(shí)別性和穩(wěn)定性要求的對(duì)應(yīng)特征。2024/5/117四、特征表示特征向量及其幾何解釋：2024/5/118四、特征表示圖像特征的分類有多種標(biāo)準(zhǔn)，如根據(jù)自身的特點(diǎn)可以將其分為兩大類：描述物體外形的形狀特征和描述物體表面灰度變化的紋理特征。而根據(jù)特征提取所采用的方法的不同又可以將其特征分為統(tǒng)計(jì)特征和結(jié)構(gòu)特征?；叶龋ú噬﹫D像像素矩陣圖像特征的分類：我們常將某一類對(duì)象的多個(gè)特型組合在一起，形成一個(gè)特征向量來代表該類對(duì)象，如果只有單個(gè)數(shù)值特征，則特征向量為一個(gè)一維向量；如果是n個(gè)特征組合，則為一個(gè)n維特征向量，常常被作為識(shí)別系統(tǒng)的輸入。一般講帶分類的對(duì)象稱為樣本，將其特征向量稱為樣本特征向量或樣本向量。2024/5/119（a）三維空間中的3維特征向量樣本（b）二維空間中的2維特征向量及其上的一種可能的劃分四、特征表示2024/5/120四、特征表示投影降維法字符樣本的特征舉例2024/5/121四、特征表示特征處理的基本方法：分別處理單個(gè)特征，并除去那些幾乎不具（新的、不相關(guān)）辨別能力的特征；將特征綜合考慮，通過線性/非線性變換，使結(jié)果維數(shù)降低且具有更好地辨別能力。2024/5/122四、特征表示通常假定給出了維數(shù)為d的確定的模式樣本集，但d維特征如何確定尚未明確實(shí)際設(shè)計(jì)一個(gè)模式識(shí)別系統(tǒng)時(shí)，首先要解決的問題用各種可能的手段對(duì)識(shí)別對(duì)象的性質(zhì)作各種可能的測(cè)量，并將這些測(cè)量值作為分類的特征為了設(shè)計(jì)出好的分類器，一般需要對(duì)原始的測(cè)量值集合進(jìn)行分析，進(jìn)行選擇或變換，組成識(shí)別特征，在保證一定分類精度的前提下，減少特征維數(shù)，使分類器的工作又快又準(zhǔn)確要達(dá)到上述目的，關(guān)鍵是所提供的模式特征應(yīng)具有很好的可分性（類別可分離性判據(jù)來衡量），同時(shí)去掉那些關(guān)聯(lián)性較強(qiáng)的特征

需要依據(jù)某種準(zhǔn)則進(jìn)行特征提取和選擇，為此應(yīng)當(dāng)首先構(gòu)造這樣的準(zhǔn)則——類別可分離性判據(jù)

可分離性判據(jù)應(yīng)能反映各類樣本在特征空間中的分布情況，能刻畫各特征分量在分類識(shí)別中的重要性或貢獻(xiàn) 1類別可分離性判據(jù)滿足的要求（1）與錯(cuò)誤概率（或其的上下界）有單調(diào)關(guān)系（2）當(dāng)特征獨(dú)立時(shí)有可加性2024/5/1232024/5/124四、特征表示（3）具有“距離”的某些特性，即（4）對(duì)特征數(shù)目是單調(diào)不減，即加入新的特征后，判據(jù)值不減應(yīng)當(dāng)指出，所構(gòu)造的可分離性判據(jù)并不一定同時(shí)具有上述的四個(gè)性質(zhì)，但這并不影響它在實(shí)際使用中的性質(zhì)。2024/5/125