研二模式識別總結

第一章導論特征提取和特征選擇(結合后邊章節(jié)最小錯誤 決最小風 決監(jiān)督學習與無監(jiān)督學習(根據(jù)例子判斷Fisher第一章導論清除或減少模式中的噪聲及其它干擾，提高信噪比。消除或減少數(shù)據(jù)圖像的模糊及幾何失真，提晰度。轉變模式的結構，以便后續(xù)處理（如非線性模式轉為線性模式?jīng)Q規(guī)則分類時，錯誤率最低。把這些規(guī)則建成標準庫。特征選擇(selection)：從原始特征中挑選出一些最有代表性，分類性能最Dd個,CdD Filter方法：JS，然后J最大的特征子集作為最優(yōu)特征子集。最小錯誤 決最小風 決**********個人感覺看書上的例子就行了監(jiān)督學習與無監(jiān)督學習(根據(jù)例子判斷無監(jiān)督學習：不知道樣本類別，只知道樣本的某些信息去估計，如：聚類4.2.1對于多類問題，模式有ω1,ω2,…,ωmMg(x)WTX0,X 0其它i1,2M式中

,...,

,

T為第iω1<0。ω1類與其它類之間的邊界由g1(x)=0確定例：已知三類ω1,ω2,ω3g1(x)x1 g1(x)x1x2gg (x) (x)gggggg X如果它的g1(x)>0，g2(x)<0，g3(x)則該模式屬于ω1ω1類的區(qū)域由直線-x2+1=0-x1+x2-5=0和直線-x1+x2=0的負邊來確定。必須，如果某個X使二個以上的判別函數(shù)gi(x)>0。則此模式X就無法作出確切的。如圖中 IR1,IR3，IR4區(qū)域。確定區(qū)域。M(M_1)/2個判別平面。對于兩類問題，M=2結論：判別區(qū)間增大，不確定區(qū)間減小，比第一種情況小的多每類都有一個判別函數(shù),MX所屬類別。類與類之間的邊界可由gi(x)=gj(x)gi(x)gj(x)=0M=3的例子。對于ω1類模式，必然滿足g1(x)>g2(x)和g1(x)>g3(x)。X，g(x)WTXx1,x2∈ω1，x3,x4∈ω2x1,x31

2

ig(x)WTXiW(w1,w2,...,wn,wn1,N（a例：41414/16。。直到在一個迭代過程中權向量相同訓練結束判別。數(shù)感知器算法只對線性可分樣本有收斂的解,對非線性可分樣本造成訓過程的振蕩,這是它的缺點FisherXY2維降為一維。若適當選W的方向，可以使二類分開。下面我們從數(shù)學上尋找最好的投影方向，即尋W的問題。投影樣本類內離散度投影樣本總的離散度可用（22） 上式就是n維x空間向一維y空間的最好投影方向，它實際是空間向一n維的問題轉化為一維的問題。現(xiàn)在一設計Fisher分類器YWTXW0XYWTXW0X2（聚類是一種無監(jiān)督分類法:分類：用已知類別的樣本訓練集來設計分類器（監(jiān)督學習 ，對每個聚合中心來說d|d|xy2iiDe(x,y)||xy當De(x,

xy

2(x)T1(x為均值向量，7.2.1樣本x與y之間的角度相似性度量定義為它們之間夾角的余弦，即也是單位向量之間的點積（內積S(x,y)越大，x與y越相似。常用 檢索、植物分類、疾病分類S(x,y)①S(x,y)S(y,②當x

S(x,y)S(x,y)相似性度量→集合與集合的相似性。X{x1x2xn，采用某種相似性度量，被聚合成c ,nc個樣本cn

1nJc||j1k

k

mjnjn

j1

mjcJcXJcc心。Jc描述個n試驗樣本聚合成c個類型時，所產(chǎn)生的總誤差平方和。 好Z1，返回②，直到滿意，算法結束。該算法的聚類結果與參數(shù)Z1用試探法通過多次