工學(xué)圖像處理第10章模式識別課件

數(shù)字圖像處理學(xué)第10章模式識別的理論和方法（第一講）數(shù)字圖像處理學(xué)1

10.1概述

模式識別是隨著計算機(jī)的發(fā)展而興起的一門新的技術(shù)科學(xué)。自50年代末期開始來，至今已得到了迅速的發(fā)展和廣泛的應(yīng)用。模式識別對我們每個人來說，每時每刻都在進(jìn)行著，用計算機(jī)進(jìn)行模式識別就是研究讓計算機(jī)處理哪些信息和怎樣處理這些信息。因此，它是信息處理中的又一個研究領(lǐng)域。10.1概述模式識別是隨著計算機(jī)的發(fā)2例如，根據(jù)氣象觀測數(shù)據(jù)或氣象衛(wèi)星拍照的照片如何準(zhǔn)確地預(yù)報天氣；根據(jù)石油勘探的人工地震波如何提供存油的巖層結(jié)構(gòu)；從遙感圖片中如何區(qū)別出農(nóng)作物、湖泊、森林、導(dǎo)彈基地等；例如，3在高能物理實驗中怎樣識別粒子經(jīng)跡；在醫(yī)療診斷中如何從X光片中發(fā)現(xiàn)病灶；如何根據(jù)信函上的郵政編碼自動分揀信件；在繁華的交通中心根據(jù)車輛的流量如何決定開放紅燈或綠燈等諸如此類的問題都是模式識別研究的課題。在高能物理實驗中怎樣識別粒子經(jīng)跡；4這些課題看上去名目繁多，但總起來看主要是研究分類問題。模式識別研究的對象基本上可概括為二類：一是有直覺形象的如圖片、相片、圖案、文字等等;一種是無直覺形象而只有數(shù)據(jù)或信號波形如言、聲音、心電脈沖、地震波等等。這些課題看上去名目繁多，但總起來看主要是研究分類問題。5

但對模式識別來說，無論是數(shù)據(jù)、信號還是平面圖形和物體，都是除掉它們的物理內(nèi)容找出它們的共性，把具有同一共性的歸為一類，有另一種共性者則歸為另一類。例如：10個阿拉伯?dāng)?shù)字分為10類；26個英文字母分成26類；白血球有5種就分為5類；肺部X光片可分為異常和正常2類等等。但對模式識別來說，無論是數(shù)據(jù)、信號還是平面圖形和物體6

模式識別研究的目的是構(gòu)造自動處理某些信息的機(jī)器系統(tǒng)，以代替人完成分類和辨識的任務(wù)。特別是有直覺形象的一類圖像識別問題同人或其它動物的感知活動尤其同人腦的智力活動聯(lián)系密切。因此，根據(jù)人的大腦識別的機(jī)理，在工程上用計算機(jī)模擬，從而研究識別方法是有現(xiàn)實意義的。模式識別研究的目的是構(gòu)造自動處理某些信息的機(jī)器系統(tǒng)，以代替7

盡管這種模擬同人的意識和思維活動有本質(zhì)的差別，但若從人類識別圖像的過程及認(rèn)識規(guī)律中得到啟發(fā)，在某些環(huán)節(jié)上得到借鑒，從而采用現(xiàn)代技術(shù)解決實際問題這是十分有益的。盡管這種模擬同人的意識和思維活動有本質(zhì)的差別，但若從人8

在具有視覺形象的圖像識別中，許多方法和概念就是從人類認(rèn)識圖像的過程中直接移植過來的。人類在現(xiàn)實生活中要區(qū)別各種現(xiàn)象、物體及聲音，一般總是首先抓住它們的特征進(jìn)行比較、分析、判斷，從而將它們分類或識別。特別是數(shù)理統(tǒng)計和模糊數(shù)學(xué)的發(fā)展，總結(jié)了人們的認(rèn)識邏輯，從而也使圖像識別有了理論基礎(chǔ)。在具有視覺形象的圖像識別中，許多方法和概念就是從人類9一個圖像識別系統(tǒng)可分為三個主要部分。其框圖如圖(10.1)所示。(1)圖像信息的獲??；(2)信息的加工和處理，抽取特征；(3)判斷或分類。

圖10—1圖像識別系統(tǒng)框圖被識圖像圖像獲取信息處理特征抽取判決結(jié)果一個圖像識別系統(tǒng)可分為三個主要部分。其框圖如圖(10.1)所10

第一部分相當(dāng)于對被研究對象的調(diào)查和了解，從中得到數(shù)據(jù)和材料；對圖像識別來說，就是把圖片，底片，文字圖形等用光電掃描設(shè)備變換為電信號，而對語音來說就可用話筒等設(shè)備把聲音變成電信號以備后序處理。第一部分相當(dāng)于對被研究對象的調(diào)查和了解，從中得到數(shù)據(jù)和材料11

第二部分相當(dāng)于人們把調(diào)查了解到的數(shù)據(jù)材料進(jìn)行加工、整理、分析、歸納，以去偽存真，去粗取精，抽出能反映事物本質(zhì)的東西。當(dāng)然，抽取什么特征，保留多少特征與采用何種判決有很大關(guān)系。

第二部分相當(dāng)于人們把調(diào)查了解到的數(shù)據(jù)材料進(jìn)行加工、整12

第三部分是判決和分類，這相當(dāng)與人們從感性認(rèn)識上升到理性認(rèn)識而做出結(jié)論的過程。第三部分與抽取特征的方式密切相關(guān)。它的復(fù)雜程度依賴于特征的抽取方式，例如：類似度、相關(guān)性、最小距離等。第三部分是判決和分類，這相當(dāng)與人們從感性認(rèn)識上升到理性13

模式識別的主要方法可分為兩大類：統(tǒng)計學(xué)方法語言學(xué)方法。模式識別的主要方法可分為兩大類：14

統(tǒng)計學(xué)方法是建立在被研究對象的統(tǒng)計知識上，也就是對圖像進(jìn)行大量的統(tǒng)計分析，抽出圖像中本質(zhì)的特征而進(jìn)行識別。統(tǒng)計學(xué)方法是建立在被研究對象的統(tǒng)計知識上，也就是對圖像15

這統(tǒng)計學(xué)方法是一種數(shù)學(xué)方法，它是受數(shù)學(xué)中的決策理論的啟發(fā)而產(chǎn)生的識別方法。在這種方法中很大的力量用在抽取圖像特征方面，也就是把圖像大量的原始信息減縮為少數(shù)特征，然后再提取這些特征，把它作為識別的依據(jù)。這統(tǒng)計學(xué)方法是一種數(shù)學(xué)方法，它是受數(shù)學(xué)中的決策理論的啟16語言學(xué)法或句法結(jié)構(gòu)識別法是立足于分析圖像結(jié)構(gòu)。把一個圖像看成語言構(gòu)造。例如一個英文句子，它是詞和短語組成的并按一定的語法表達(dá)出來，其中最基本元素是單詞。與此類似，圖像是由一些直線、斜線、點、彎曲線及環(huán)等組成。語言學(xué)法或句法結(jié)構(gòu)識別法是立足于分析圖像結(jié)構(gòu)。把一個17剖析這些基本原素，看它們是以什么規(guī)則構(gòu)成圖像，這就是結(jié)構(gòu)分析的課題。這些基本元素相當(dāng)于句子中的單詞，那些直線，曲線的組合相當(dāng)于短語，它們?nèi)w如何構(gòu)成圖像就相當(dāng)于語法規(guī)則。此時，圖像識別就相當(dāng)于檢查圖像所代表的某一類句型是否符合事先規(guī)定的語法，如果語法正確就識別出結(jié)果。由此可見，這種方法主要是利用了圖像結(jié)構(gòu)上的關(guān)系，這和統(tǒng)計學(xué)方法不同。剖析這些基本原素，看它們是以什么規(guī)則構(gòu)成圖像，這就是結(jié)構(gòu)分析18

兩類方法的不足：

第一種方法沒有利用圖像本身的結(jié)構(gòu)關(guān)系，第二類方法沒有考慮圖像在環(huán)境中受噪聲的干擾。兩類方法的不足：19

如果兩者結(jié)合起來考慮可能會有新的識別方法，目前這方面的研究還不多。除此之之外，其于模糊數(shù)學(xué)的發(fā)展，目前正在發(fā)展一種模糊識別法。這種方法較多地考慮了人的邏輯思維方法，方法較為獨特，這種方法的研究得到了人們的關(guān)注。如果兩者結(jié)合起來考慮可能會有新的識別方法，目前這方面的20模糊識別的應(yīng)用較廣，大致可有如下幾個方面：

(1)字符識別(Characterrecognition)；

(2)醫(yī)學(xué)診斷(Medicaldiagnosis)；

(3)遙感(RemoteSensing)；

(4)人臉和指紋鑒別(Identificationofhumanfacesandfingerprints)；

(5)污染(Pollution)；

模糊識別的應(yīng)用較廣，大致可有如下幾個方面：21(6)自動檢查和自動化(AutomaticinspectionandAutomation)；

(7)可靠性(Reliability)；

(8)社會經(jīng)濟(jì)(Socio-economics)；

(9)語音識別和理解(Speechunderstandingandrecognition)；

(10)考古(Archaeology)。(6)自動檢查和自動化(Automaticin22

目前世界上已有一些較為完善的圖像識別系統(tǒng)。這些系統(tǒng)無論從識別分析的功能來講還是從處理速度上來說都較初期有很大的發(fā)展。例如，美國的OLPARS(聯(lián)機(jī)圖像分析識別系統(tǒng))能識別數(shù)字、字母及分析識別航空照片。目前世界上已有一些較為完善的圖像識別系統(tǒng)。這些系統(tǒng)無論從識23

英國新產(chǎn)品QUANTIMET720高速多功能圖像分析系統(tǒng)可以觀察由光學(xué)和顯微鏡獲得的圖像、照片、底片、電影、幻燈片及X光照片。能對圖像進(jìn)行各種測量及單獨實時測量特征，數(shù)據(jù)由微計算機(jī)處理。日本的OCR-ASPET/71型識別系統(tǒng)能識別多種字體，每秒鐘可識別2000字。英國新產(chǎn)品QUANTIMET720高速多功能圖像24

英國的IBM1287光學(xué)文字閱讀機(jī)能識別10個阿拉伯?dāng)?shù)字，在郵局推廣應(yīng)用，誤識率為0.4％，拒識率為1.4％。日本NEC公司研制的郵區(qū)編碼信函分揀機(jī)能識別印刷體數(shù)字、字母、速度達(dá)30000件/小時。在醫(yī)學(xué)中也有較多應(yīng)用，如一種5類白血球分類器可做到95％的正確分類，每分鐘100個細(xì)胞。另外還有染色體自動分類，醫(yī)學(xué)管理等方面也多有應(yīng)用。英國的IBM1287光學(xué)文字閱讀機(jī)能識別10個阿拉25

隨著計算機(jī)技術(shù)的發(fā)展，模式識別的理論和方法得到進(jìn)一步發(fā)展特別是圖像識別這個領(lǐng)域近年來興旺活躍，發(fā)展蓬勃。在某種意義上來說，圖像識別已發(fā)展成為人同機(jī)器，自然科學(xué)和社會科學(xué)基礎(chǔ)理論同技術(shù)應(yīng)用之間的接口領(lǐng)域。隨著計算機(jī)技術(shù)的發(fā)展，模式識別的理論和方法得到進(jìn)一步發(fā)展特26

目前，不僅研究單一功能的識別系統(tǒng)，而且在研制多功能的綜合識別系統(tǒng)。如北方交通大學(xué)信息科學(xué)研究所會同清華大學(xué)、上海交通大學(xué)研究的“超級智能視聽信息處理系統(tǒng)”就是一種多信息融合的處理系統(tǒng)，它的目的是利用多信息的融合技術(shù)，在模式識別中互相補(bǔ)充、互相借鑒，從而克服過去單一識別所面臨的難以克服的困難，試圖在模式識別領(lǐng)域有較大的突破。目前，不僅研究單一功能的識別系統(tǒng)，而且在研制多功能的27同時，該系統(tǒng)在當(dāng)今頗為熱門的人—機(jī)通過自然手段進(jìn)行交互的領(lǐng)域也進(jìn)行了有益的嘗試。近年來國際上在這一領(lǐng)域給予了極大的重視，微軟、Intel、IBM等大公司紛紛提出研究計劃，所謂的“Multimodel”研究已形成了新的研究熱點。同時，該系統(tǒng)在當(dāng)今頗為熱門的人—機(jī)通過自然手段進(jìn)行交互的領(lǐng)域28與此同時，對有關(guān)圖像識別的圖像處理軟件及新算法也受到極大的重視，如人工神經(jīng)元網(wǎng)絡(luò)、遺傳算法等在模式識別研究中已取得了可喜的結(jié)果?，F(xiàn)在，研制高性能、多用途的圖像分析識別系統(tǒng)乃是有待我們努力解決的課題，隨著生產(chǎn)與科學(xué)技術(shù)的發(fā)展，各個領(lǐng)域?qū)o模式識別技術(shù)以極大的注意，這一技術(shù)必將在我國的現(xiàn)代化建設(shè)中發(fā)揮作用。與此同時，對有關(guān)圖像識別的圖像處理軟件及新算法也受到極2910.2統(tǒng)計模式識別法

統(tǒng)計模式識別的過程如下圖所示。這是計算機(jī)識別的基本過程。10.2統(tǒng)計模式識別法統(tǒng)計模式識別的過程如下圖所示。30工學(xué)圖像處理第10章模式識別課件31數(shù)字化的任務(wù)是把圖像信號變成計算機(jī)能夠接受的數(shù)字信號。預(yù)處理的目的是去除干擾、噪聲及差異，將原始信號變成適合于進(jìn)行特征抽取的形式，然后，對經(jīng)過預(yù)處理的信號進(jìn)行特征抽取。最后進(jìn)行判決分類，得到識別結(jié)果。數(shù)字化的任務(wù)是把圖像信號變成計算機(jī)能夠接受的數(shù)字信號。預(yù)處理32為了進(jìn)行分類，必須有圖像樣本。對樣本圖像進(jìn)行特征選擇及學(xué)習(xí)是識別處理中所必要的分析工作。為了進(jìn)行分類，必須有圖像樣本。對樣本圖像進(jìn)行特征選擇及學(xué)習(xí)是33

10.2.3特征的抽取與選擇

10.2.1決策理論方法

10.2.2統(tǒng)計分類法

10.2.3特征的抽取與選擇10.2.1決策理論方法1342．1決策理論方法統(tǒng)計模式識別方法最終歸結(jié)為分類問題。假如已抽取出N個特征，而圖像可分為m類，那么就可以對N進(jìn)行分類，從而決定未知圖像屬于m類中的哪一類。一般把識別模式看成是對N維空間中的向量X進(jìn)行分類，即：2．1決策理論方法統(tǒng)計模式識別方法最終歸結(jié)為分類問題。假如35

(10—1)(10—1)36模式類別為。識別就是要判斷X是否屬于以及屬于中的哪一類。在這個過程中主要解決兩個問題：一是如何抽取特征，要求特征數(shù)N盡可能小而且對分類判斷有效；二是假設(shè)已有了代表模式的向量，如何決定它屬于哪一類，這就需要判別函數(shù)。模式類別為37例如，模式有共m個類別，則應(yīng)有，，共m個判別函數(shù)。如果X屬于第i類，則有：

(10—2)例如，模式有38在兩類的分界線上，則有

(10—3)這時X既屬于第I類，也屬于第j類，因此這種判別失效。為了進(jìn)行識別就必須重新考慮其他特征，再進(jìn)行判別。問題的關(guān)鍵是找到合適的判別函數(shù)。在兩類的分界線上，則有391．常用的決策規(guī)則1）、基于最小錯誤率的貝葉斯決策在圖像識別中，我們總希望盡量減少分類錯誤，利用貝葉斯（Bayes）公式能夠得到錯誤率最小的分類規(guī)則，這就是基于最小錯誤率的貝葉斯決策。1．常用的決策規(guī)則40

為解決兩類事務(wù)X的分類問題，設(shè)模式類別為和，其中類別狀態(tài)是一個隨機(jī)變量，狀態(tài)的概率是可以估計的。狀態(tài)的概率為，狀態(tài)的概率為。顯然，為解決兩類事務(wù)X的分類問題，設(shè)模式類別為41

設(shè):為狀態(tài)下觀察X

類的條件概率密度；為狀態(tài)下觀察X類的條件概率密度；

利用貝葉斯公式：設(shè):為狀態(tài)42得到的條件概率稱為狀態(tài)的后驗概率。得到的條件概率稱43貝葉斯公式實質(zhì)上是通過觀察x，把狀態(tài)的先驗概率轉(zhuǎn)化為狀態(tài)的后驗概率。這樣基于最小錯誤率的貝葉斯決策規(guī)則為：貝葉斯公式實質(zhì)上是通過觀察x，把狀態(tài)的先驗概率44如果，則把X歸類為；如果，則把X歸類為。如果45上面的規(guī)則也可以寫成下式形式：則。上面的規(guī)則也可以寫成下式形式：462）、基于最小風(fēng)險的貝葉斯決策最小風(fēng)險的貝葉斯決策是考慮各種錯誤造成損失而提出的決策規(guī)則。2）、基于最小風(fēng)險的貝葉斯決策47設(shè)：①觀察是n維隨機(jī)向量，（10－6）②狀態(tài)空間由c個自然狀態(tài)組成，

設(shè)：①觀察是n維隨機(jī)向量，48

③決策空間由個決策組成。④損失函數(shù)為。它表示當(dāng)真實狀態(tài)為，而所采取的決策為時所帶來的損失。③決策空間由個決策49已知條件概率及類條件概率密度，這里。后驗概率為已知條件概率及類條件概率密度50這里引入了“損失”的概念，就必須考慮所采取的決策是否能使損失最小。對于給定的X，如果采用決策，可以在中任選一個，在這種情況下，條件期望損失為：這里引入了“損失”的概念，就必須考慮所采取的決策是否51這里條件期望損失也稱為條件風(fēng)險。由于X是觀察值，采取不同的決策時，條件風(fēng)險的大小不同，因此，采用的決策與X有關(guān)，這樣決策可以看成是X的函數(shù)，即，，

這里條件期望損失也稱為條52因此，可定義期望風(fēng)險為：這里是采取的平均風(fēng)險，是對某一X的取值采取決策所帶來的風(fēng)險。

因此，可定義期望風(fēng)險為：53因此，最小風(fēng)險貝葉斯決策為：則因此，最小風(fēng)險貝葉斯決策為：54

2．

線性判別函數(shù)線性判別函數(shù)是應(yīng)用較廣的一種判別函數(shù)。所謂線性判別函數(shù)是指判別函數(shù)是圖像所有特征量的線性組合，即式中代表第i個判別函數(shù)；是系數(shù)或權(quán)；為常數(shù)項或稱為閾值。在兩類之間的判決界處有下式的形式。

(10—4)

(10—5)2．線性判別函數(shù)線性判別函數(shù)是應(yīng)用較廣的一種判別函數(shù)55可以寫成下式形式：

(10—6)

該方程在二度空間中是直線，在三度空間中是平面，在N度空間中則是超平面?？梢詫懗上率叫问剑?1056其判決過程可如下進(jìn)行：如果或,則；如果或,則。其判決過程可如下進(jìn)行：57

用線性判別函數(shù)進(jìn)行分類的是線性分類器。任何m類問題都可以分解為(m-1)個2類識別問題。方法是先把模式空間分為1類和其他類，如此進(jìn)行下去即可。因此，最簡單和最基本的是兩類線性分類器。用線性判別函數(shù)進(jìn)行分類的是線性分類器。任何m類問題都58

分離兩類的判決界由表示。對于任何特定的輸入模式必須判定大還是大。若考慮某個函數(shù)，對于１類模式D為正，對于２類模式D為負(fù)。于是，只要處理與D相應(yīng)的一組權(quán)的輸入模式并判斷輸出符號即可進(jìn)行分類。分離兩類的判決界由表示。對于任何特59在線性分類器中要找到合適的系數(shù)，以便使分類盡可能不出差錯，唯一的辦法就是試驗法。例如，先設(shè)所有的系數(shù)為1，送進(jìn)每一個模式，如果分類有錯就調(diào)整系數(shù)，這個過程就叫做線性分類器的訓(xùn)練或?qū)W習(xí)。例如，我們把N個特征X和1放在一起叫做Y，N+1個系數(shù)為W，即：在線性分類器中要找到合適的系數(shù)，以便使分類盡可能不出差60(10—7)(10—7)61考慮分別屬于兩個不同模式類，m=2，此時，有兩個訓(xùn)練集和。兩個訓(xùn)練集合是線性可分的，這意味著存在一個加權(quán)向量W，使得

(10—8)式中是Y的轉(zhuǎn)置?？紤]分別屬于兩個不同模式類，m=2，此時，有兩個訓(xùn)練集62工學(xué)圖像處理第10章模式識別課件63如果分類器的輸出不能滿足式(10—8)的條件,可以通過“誤差校正”的訓(xùn)練步驟對系數(shù)加以調(diào)整。例如，如果第一類模式不大于零，則說明系數(shù)不夠大，可用加大系數(shù)的方法進(jìn)行誤差修正。如果分類器的輸出不能滿足式(10—8)的條件,可以通過“誤差64具體修正方法如下:

對于任一個,若,則使

(10—9)

對于任一個,若,則使

(10—10)具體修正方法如下:對于任一個,若,則使65通常使用的誤差修正方法有固定增量規(guī)則，絕對修正規(guī)則及部分修正規(guī)則。固定增量規(guī)則是選擇為一個固定的非負(fù)數(shù)。絕對修正規(guī)則是取為一個最小整數(shù)，它可使的值剛好大于零，即的最小整數(shù)(10—11)通常使用的誤差修正方法有固定增量規(guī)則，絕對修正規(guī)則及部分修正66部分修正規(guī)則可取為下式所決定的值(10—12)部分修正規(guī)則可取為下式所決定的值(10—1267

3．Fisher線性判別

Fisher線性判別起源于1936年R.A.Fisher的研究工作。在統(tǒng)計模式識別方法中，遇到的主要問題之一就是維數(shù)問題。在低維中可行的方法在高維上往往行不通。因此，降低維數(shù)是識別的關(guān)鍵問題。3．Fisher線性判別Fisher線性判別起源于168

考慮把一個d維空間樣本投影到一條直線上，形成一維空間，在數(shù)學(xué)上并非難事。但是，在原有的d維空間中緊湊可分的集群，當(dāng)投影到一維時，有可能使幾類樣本混在一起而無法識別。因此，如何找到最好的，易于分類的投影線就是Fisher法要解決的基本問題。考慮把一個d維空間樣本投影到一條直線上，形成一維空間，69設(shè)有一個集合包含N個d維樣本，其中個屬于類的樣本子集為，屬于的個樣本為。對的分量作線性組合有：

（10－21）

設(shè)有一個集合包含N個d維樣本70由此可得到個一維樣本組成的集合。從幾何上看，如果，則每個就是相對應(yīng)的到方向為直線上的投影。這里方向的選擇是很重要的，它將影響投影后的可分離程度，進(jìn)而影響識別結(jié)果。由此可得到個一維樣本組成的集71設(shè)：①在維空間，各類樣本的均值向量為（10－22）樣本類內(nèi)離散度矩陣為，總類內(nèi)離散度矩陣為設(shè)：72

（10－23）樣本類間離散度（10－24）

73

②在一維Y空間各類樣本均值為（10－25）②在一維Y空間74樣本類內(nèi)離散度矩陣為，總類內(nèi)離散度矩陣為