模式識別理論及應(yīng)用PatternRecognition-Methodsand

1、模式識別理論及應(yīng)用Pattern Recognition - Methods and ApplicationIPL第一章 模式識別概述內(nèi)容目錄IPL第一章 模式識別概述 1.1 模式識別和模式的概念2134 1.2 模式識別系統(tǒng)1.3 模式識別的主要方法1.4 模式識別應(yīng)用1.5 有關(guān)模式識別的若干問題5模式識別與神經(jīng)網(wǎng)絡(luò)1.1 模式識別和模式的概念人類具有很強(qiáng)的模式識別能力，時(shí)刻在完成某種模式識別的任務(wù)。模式識別作為一門學(xué)科，是研究用機(jī)器完成自動(dòng)識別事物的工作。模式識別形成于5060年代，它與人工智能關(guān)系密切。模式識別是一門理論與應(yīng)用并重的技術(shù)科學(xué)。有廣泛的需求?，F(xiàn)有的理論與方法還有不足。3

2、模式識別和模式的概念Pattern recognitionis the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)概念4模式與模式類樣本(sample, object)：一類事物的一個(gè)具體體現(xiàn)，對具體的個(gè)別事物進(jìn)行觀測所得到的

3、某種形式的信號。模式(pattern)：表示一類事物，如印刷體A與手寫體A屬同一模式。B與A則屬于不同模式。樣本是具體的事物，而模式是對同一類事物概念性的概括。模式類與模式聯(lián)合使用時(shí)，模式表示具體的事物，而模式類則是對這一類事物的概念性描述。模式識別是從樣本到類別的映射。概念5模式識別和模式的概念Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” a fingerprint image a handwritten cu

4、rsive word a human face a speech signal 概念6模式識別和模式的概念識別是時(shí)時(shí)刻刻發(fā)生的活動(dòng)識別（Recognition)再認(rèn)知（Re-Cognition)主要研究相似和分類問題有監(jiān)督分類無監(jiān)督分類與其他學(xué)科的關(guān)系統(tǒng)計(jì)學(xué)人工智能機(jī)器學(xué)習(xí)運(yùn)籌學(xué)概念71.2 模式識別系統(tǒng)數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類決策分類器設(shè)計(jì)信號空間特征空間8模式識別系統(tǒng)的組成數(shù)據(jù)獲取和預(yù)處理(data acquisition and preprocessing) ：測量，采樣和量化，去噪，復(fù)原特征提取與選擇(feature extraction and selection)分類決策

5、(classification decision)系統(tǒng)91.3 模式識別的方法模版匹配法統(tǒng)計(jì)方法神經(jīng)網(wǎng)絡(luò)方法結(jié)構(gòu)方法(句法方法)10模版匹配首先對每個(gè)類別建立一個(gè)或多個(gè)模版輸入樣本和數(shù)據(jù)庫中每個(gè)類別的模版進(jìn)行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策優(yōu)點(diǎn)：直接、簡單缺點(diǎn)：適應(yīng)性差形變模版方法11統(tǒng)計(jì)方法根據(jù)訓(xùn)練樣本，建立決策邊界(decision boundary) 統(tǒng)計(jì)決策理論根據(jù)每一類總體的概率分布決定決策邊界判別式分析方法給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)本課程的重點(diǎn)內(nèi)容方法12句法方法許多復(fù)雜的模式可以分解為簡單的子模式，這些子模式組成所謂 “基元”每

6、個(gè)模式都可以由基元根據(jù)一定的關(guān)系來組成基元可以認(rèn)為是語言中的詞語，每個(gè)模式都可以認(rèn)為是一個(gè)句子，關(guān)系可以認(rèn)為是語法模式的相似性由句子的相似性來決定優(yōu)點(diǎn)：適合結(jié)構(gòu)性強(qiáng)的模式缺點(diǎn)：抗噪聲能力差，計(jì)算復(fù)雜度高方法13神經(jīng)網(wǎng)絡(luò)進(jìn)行大規(guī)模并行計(jì)算的數(shù)學(xué)模型具有學(xué)習(xí)、推廣、自適應(yīng)、容錯(cuò)、分布表達(dá)和計(jì)算的能力優(yōu)點(diǎn)：可以有效的解決一些復(fù)雜的非線性問題缺點(diǎn)：缺少有效的學(xué)習(xí)理論方法14幾種方法比較方法表達(dá)識別函數(shù)評價(jià)準(zhǔn)則模版匹配樣本，像元，曲線相關(guān)，距離度量分類錯(cuò)誤統(tǒng)計(jì)方法特征決策函數(shù)分類錯(cuò)誤句法方法基元規(guī)則，語法接受錯(cuò)誤神經(jīng)網(wǎng)絡(luò)樣本，像元，特征網(wǎng)絡(luò)函數(shù)均值方差錯(cuò)誤方法15神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)模式識別的關(guān)系統(tǒng)計(jì)模式識別

7、人工神經(jīng)網(wǎng)絡(luò)線性決策函數(shù)感知機(jī)PCA自相關(guān)網(wǎng)絡(luò)，PCA網(wǎng)絡(luò)后驗(yàn)概率估計(jì)多層感知機(jī)非線性決策分析多層感知機(jī)Parzen窗密度估計(jì)分類器徑向基函數(shù)網(wǎng)絡(luò)K近鄰Kohonens LVQ方法161.4 模式識別應(yīng)用文本分類文本圖像分析工業(yè)自動(dòng)化數(shù)據(jù)挖掘多媒體數(shù)據(jù)庫檢索生物特征識別語音識別生物信息學(xué)遙感171.5 有關(guān)模式識別的若干問題模式類的緊致性：集合中任意兩個(gè)內(nèi)點(diǎn)可以用光滑線連接，在該連線上的點(diǎn)也屬于這個(gè)集合。每個(gè)內(nèi)點(diǎn)都有一個(gè)足夠大的鄰域，在該鄰域中只包含同一集合中的點(diǎn)。假若每個(gè)模式類都滿足緊致性假設(shè)，則解決模式識別間題就不會(huì)碰到什么原則上的困難。但對于很多實(shí)際問題這個(gè)假設(shè)是不成立的。只耍各個(gè)模式類是可分的，總存在這樣一個(gè)空間，使變換到這個(gè)空間中的集合滿足緊致性要求。18有關(guān)模式識別的若干問題相似與分類：相似與分類問題遠(yuǎn)不像集合表達(dá)那樣簡單明了。集合的概念可用來表現(xiàn)已經(jīng)分好的類，但對于怎樣分類和歸類則缺乏指導(dǎo)意義。相似性度量：樣本xi和 xj是Rn空間中兩個(gè)點(diǎn)，它們間的某種距離的函數(shù) s(xi, xj)。距離: d(xi, xj)=(xi - xj)T.(xi - xj)1/2相似性度量1: s(xi, xj)=f(d(xi, xj)相似性度量2: s(xi, xj)=cos(