模式識(shí)別非參數(shù)估計(jì)

模式識(shí)別非參數(shù)估計(jì)第1頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月第五章:非參數(shù)估計(jì)第2頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)原理在實(shí)際應(yīng)用中，類(lèi)概率密度函數(shù)形式已知的條件并不一定成立，特別是多峰的概率分布，用普通函數(shù)難以擬合，這就需要用非參數(shù)估計(jì)技術(shù)。非參數(shù)估計(jì)的原理是：不需獲取類(lèi)類(lèi)概率密度的函數(shù)形式，而是直接利用學(xué)習(xí)樣本估計(jì)特征空間任意點(diǎn)的類(lèi)概率密度的值。即直接由學(xué)習(xí)樣本來(lái)直接設(shè)計(jì)分類(lèi)器。第3頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)方法直接由學(xué)習(xí)樣本估計(jì)類(lèi)概率密度P(X/ωi)，Parzen窗口法直接由學(xué)習(xí)樣本估計(jì)后驗(yàn)概率P(ωi/X)，

Kn近鄰法非參數(shù)估計(jì)法Parzen窗口法Kn近鄰法第4頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)思路鮭魚(yú)鱸魚(yú)第5頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)思路用已知類(lèi)別的學(xué)習(xí)樣本在x處出現(xiàn)的頻度來(lái)近似P(X/ωi)，即：其中：v為包含X點(diǎn)的區(qū)域第6頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)K為n個(gè)樣本中落入體積v的樣本數(shù)。故：表示單位體積內(nèi)落入x點(diǎn)鄰域的樣本在總樣本中的比例，可以此來(lái)近似樣本在X點(diǎn)處的類(lèi)概率密度值。第7頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)第8頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)問(wèn)題一若v固定，則當(dāng)n增大時(shí)，只能表示平均概率，而不是點(diǎn)概率密度因此，為保證為點(diǎn)概率密度，必須有第9頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)第10頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)問(wèn)題二若樣本數(shù)n固定，則當(dāng)時(shí)，則會(huì)出現(xiàn)x鄰域內(nèi)不包含任何樣本，得出的錯(cuò)誤估計(jì)第11頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)第12頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)解決方案考慮讓v和k都隨n的變化進(jìn)行調(diào)整，即：第13頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)顯然為保證的合理性，應(yīng)滿(mǎn)足如下條保證時(shí)，收斂于點(diǎn)概率密度

保證不出現(xiàn)0概率密度

保證收斂第14頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月非參數(shù)估計(jì)基本方法Parzen窗口法：主動(dòng)選擇vn與n的關(guān)系，kn被動(dòng)確定，指n個(gè)樣本中落入?yún)^(qū)域v的樣本數(shù)kn近鄰法：主動(dòng)選擇kn與n的關(guān)系，vn被動(dòng)確定，指包含kn個(gè)樣本的x鄰域第15頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法設(shè)樣本特征空間為d維，Rn為d維超球體，vn為其體積，hn為其直徑第16頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法可以證明，滿(mǎn)足前述三個(gè)條件的等效條件為：

第17頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法因此，可選擇均能滿(mǎn)足條件，其中h1為可調(diào)常數(shù)主動(dòng)選擇vn與n的關(guān)系后，kn如何確定？第18頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法如前所述，kn即為n個(gè)樣本中落入體積中的樣本數(shù)定義窗函數(shù)如下：

其中，Xi(i=1,2,…,n)為學(xué)習(xí)樣本,X為特征空間中的待估密度點(diǎn)第19頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法第20頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法矩形窗

第21頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法則有上式即是由學(xué)習(xí)樣本直接估計(jì)特征空間X點(diǎn)處概率密度的方法，稱(chēng)為Parzen窗口法第22頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法一種更為合理的窗函數(shù)為正態(tài)窗第23頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法正態(tài)窗

第24頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法若采用正態(tài)窗，則第25頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法例：已知某一維模式類(lèi)的實(shí)際概率密度函數(shù)為：試用Parzen窗口法對(duì)n=1、n=16、n=256及情況下的概率密度進(jìn)行估計(jì)。

第26頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法解：采用正態(tài)窗函數(shù)

令則對(duì)一維空間其中為可調(diào)常數(shù)第27頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法第28頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法可以看出：當(dāng)時(shí)，可以收斂于任何復(fù)雜形式的當(dāng)n=1時(shí)，即是窗函數(shù)的形式當(dāng)n較小時(shí)，對(duì)的大小較為敏感，過(guò)小則產(chǎn)生噪聲性誤差，過(guò)大則又產(chǎn)生平均性誤差第29頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法所需樣本數(shù)較多，計(jì)算量大，不易求得的解析表達(dá)式當(dāng)特征空間的維數(shù)較大時(shí)，實(shí)用性差第30頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法如何用Parzen窗口法進(jìn)行分類(lèi)器設(shè)計(jì)？獲取n個(gè)學(xué)習(xí)樣本令或令第31頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Parzen窗口法當(dāng)待識(shí)別樣本到來(lái)時(shí)，分別計(jì)算每一類(lèi)樣本的，即計(jì)算對(duì)每一類(lèi)樣本重復(fù)上述過(guò)程，得各類(lèi)的類(lèi)概率密度將樣本歸類(lèi)到最大的類(lèi)別中去第32頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法Parzen窗口法的估計(jì)效果取決于樣本總數(shù)n及，當(dāng)n較小時(shí)，對(duì)較為敏感，即：第33頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法其原因是由于只與總樣本數(shù)有關(guān)，即進(jìn)行概率密度估計(jì)時(shí)，任何x點(diǎn)處的都是相同的一種合理的選擇是對(duì)樣本出現(xiàn)密度大的x處，可較小，而對(duì)樣本密度較小的x處，則相對(duì)大一些，這就是近鄰法。

第34頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法第35頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法基本原理主動(dòng)選擇與n的關(guān)系，被動(dòng)確定，即使得體積為樣本密度的函數(shù)，而不是樣本總數(shù)的函數(shù)?？蛇x擇，該條件可滿(mǎn)足：

第36頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法

Kn近鄰法，有效地解決了Parzen存在的問(wèn)題，對(duì)平均誤差和噪聲性誤差均有較好的改善

選擇后，如何計(jì)算？

第37頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法為與x點(diǎn)相鄰的個(gè)近鄰樣本中，與x距離最遠(yuǎn)的樣本所構(gòu)成的區(qū)域，即第38頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法第39頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法用Kn近鄰法設(shè)計(jì)分類(lèi)器的過(guò)程：獲取n個(gè)學(xué)習(xí)樣本令找到待識(shí)樣本X處的Kn個(gè)近鄰計(jì)算Kn個(gè)鄰近到X的距離，找到最遠(yuǎn)距離的樣本計(jì)算鄰域的直徑，計(jì)算鄰域的體積

第40頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月Kn近鄰法則對(duì)每一類(lèi)樣本重復(fù)上述過(guò)程，得各類(lèi)的類(lèi)概率密度將樣本X歸類(lèi)到最大的類(lèi)別中去第41頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月用Kn近鄰法估計(jì)后驗(yàn)概率非參數(shù)估計(jì)法的基本思想是：上式即可以用來(lái)估計(jì)各類(lèi)樣本的類(lèi)概率密度，也可以用來(lái)估計(jì)所有類(lèi)別樣本的概率密度分布。

第42頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月用Kn近鄰法估計(jì)后驗(yàn)概率設(shè)共有C個(gè)待識(shí)類(lèi)別，各個(gè)類(lèi)別的學(xué)習(xí)樣本數(shù)分別為n1,n2,……,nC

總的學(xué)習(xí)樣本數(shù)為N=n1+n2+……+nC則

表示所有類(lèi)別樣本在特征空間X處的概率密度其中為落入體積中的樣本數(shù)

第43頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月用Kn近鄰法估計(jì)后驗(yàn)概率而聯(lián)合概率密度為N個(gè)落入中的樣本中屬于第i類(lèi)的樣本數(shù)

第44頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月用Kn近鄰法估計(jì)后驗(yàn)概率又由于則后驗(yàn)概率上式表明，待識(shí)樣本在x點(diǎn)處屬于第i類(lèi)的后驗(yàn)概率即是落入其近鄰體積內(nèi)第i類(lèi)樣本與落入總樣本數(shù)之比

第45頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月用Kn近鄰法估計(jì)后驗(yàn)概率Kn近鄰準(zhǔn)則：設(shè)各類(lèi)總的學(xué)習(xí)樣本為N,令當(dāng)待識(shí)樣本x到來(lái)時(shí)，找出x的個(gè)近鄰，其中屬于第i類(lèi)的樣本為，則：

取最大的一類(lèi)為識(shí)別結(jié)果第46頁(yè)，課件共49頁(yè)，創(chuàng)作于2023年2月用Kn近鄰法估計(jì)后驗(yàn)概率近鄰法的特點(diǎn)簡(jiǎn)單，容易實(shí)現(xiàn)計(jì)算量和