模式識別4概率密度函數(shù)的估計學習教案

1、會計學1模式識別模式識別(m sh sh bi)4概率密度函數(shù)概率密度函數(shù)的估計的估計第一頁，共51頁。的學習樣本估計里面的參數(shù)。的學習樣本估計里面的參數(shù)。非參數(shù)估計：不假定數(shù)學模型，非參數(shù)估計：不假定數(shù)學模型，直接用已知類別的學習樣本的直接用已知類別的學習樣本的先驗知識直接估計數(shù)學模型。先驗知識直接估計數(shù)學模型。第1頁/共50頁第二頁，共51頁。第2頁/共50頁第三頁，共51頁。參數(shù)參數(shù)的全部可容許值組成的的全部可容許值組成的集合稱為參數(shù)空間，記為集合稱為參數(shù)空間，記為。3. 點估計、估計量和估計值：點估計、估計量和估計值：點估計問題就是構造一個統(tǒng)計點估計問題就是構造一個統(tǒng)計量量作為參數(shù)作為

2、參數(shù)的的估計估計，在統(tǒng)計學中稱，在統(tǒng)計學中稱為為的估計量。若的估計量。若是屬是屬于類別于類別的幾個樣本觀察值，的幾個樣本觀察值，代入統(tǒng)計量代入統(tǒng)計量d就得到對于第就得到對于第i類類的的 的具體數(shù)值，該數(shù)值就稱的具體數(shù)值，該數(shù)值就稱為為 的估計值。的估計值。第3頁/共50頁第四頁，共51頁。第4頁/共50頁第五頁，共51頁。類樣本獨立進行處理。類樣本獨立進行處理。 第第i類的待估參數(shù)類的待估參數(shù)根據(jù)以上四條假定，我們下邊根據(jù)以上四條假定，我們下邊就可以只利用第就可以只利用第i類學習樣類學習樣本來估計本來估計(gj)第第i類的概率密度，類的概率密度，其它類的概率密度由其它類其它類的概率密度由其它類

3、的學習樣本來估計的學習樣本來估計(gj)。第5頁/共50頁第六頁，共51頁。第6頁/共50頁第七頁，共51頁。P(Xi/i)第7頁/共50頁第八頁，共51頁。代入上式得所以(suy)，有這說明(shumng)未知均值的極大似然估計正好是訓練樣本的算術平均。第8頁/共50頁第九頁，共51頁。第9頁/共50頁第十頁，共51頁。第10頁/共50頁第十一頁，共51頁。xN)T求出樣本的聯(lián)合概率密度求出樣本的聯(lián)合概率密度分布分布P(xi|)，它是，它是的函數(shù)。的函數(shù)。 利用貝葉斯公式利用貝葉斯公式,求求的后驗概的后驗概率率第11頁/共50頁第十二頁，共51頁。第12頁/共50頁第十三頁，共51頁。第13

4、頁/共50頁第十四頁，共51頁。第14頁/共50頁第十五頁，共51頁。第15頁/共50頁第十六頁，共51頁。 第16頁/共50頁第十七頁，共51頁。真正的真正的靠的更近；靠的更近；當觀察當觀察N個樣本后個樣本后,N就反映了觀就反映了觀察到察到N個樣本后對個樣本后對的最好推測，的最好推測，而而N2反映了這種推測的不確定反映了這種推測的不確定性。性。N, N2,N2 隨觀察樣本隨觀察樣本增加而單調(diào)減小，且當增加而單調(diào)減小，且當N, N2 0 ；當當N，P(|xi)越來越尖峰突起，越來越尖峰突起，于是于是 N, P(|xi) 函數(shù)，即收斂函數(shù)，即收斂于一個以真實參數(shù)為中心的于一個以真實參數(shù)為中心的函

5、函數(shù)，這個過程成為貝葉斯學習。數(shù)，這個過程成為貝葉斯學習。第17頁/共50頁第十八頁，共51頁。第18頁/共50頁第十九頁，共51頁。第19頁/共50頁第二十頁，共51頁。第20頁/共50頁第二十一頁，共51頁。實值實值，將引起不確定性增加。，將引起不確定性增加。第21頁/共50頁第二十二頁，共51頁。其中(qzhng)a與無關第22頁/共50頁第二十三頁，共51頁。第23頁/共50頁第二十四頁，共51頁。度度p(x|i)以此來設計分類器以此來設計分類器, 如窗口估計如窗口估計 用學習樣本直接估計后驗概用學習樣本直接估計后驗概率率p(i|x)作為分類準則作為分類準則來設計分類器，如來設計分類器

6、，如KN近鄰法。近鄰法。1. 密度估計原理：一個隨機變量密度估計原理：一個隨機變量X落在區(qū)域落在區(qū)域R的概率為的概率為P P(X)為為P(X)在在R內(nèi)的變化值，內(nèi)的變化值，P(X)就是要求的總體概率密度就是要求的總體概率密度RP(x)第24頁/共50頁第二十五頁，共51頁。第25頁/共50頁第二十六頁，共51頁。第26頁/共50頁第二十七頁，共51頁。第27頁/共50頁第二十八頁，共51頁。第28頁/共50頁第二十九頁，共51頁。第29頁/共50頁第三十頁，共51頁。 方窗函數(shù)(hnsh)指數(shù)(zhsh)窗函數(shù)正態(tài)窗函數(shù)(u) (u)(u)hN 正態(tài)窗函數(shù)第30頁/共50頁第三十一頁，共51頁

7、。第31頁/共50頁第三十二頁，共51頁。第32頁/共50頁第三十三頁，共51頁。第33頁/共50頁第三十四頁，共51頁。0123456x6x5x3x1x2x4x第34頁/共50頁第三十五頁，共51頁。第35頁/共50頁第三十六頁，共51頁。第36頁/共50頁第三十七頁，共51頁。第37頁/共50頁第三十八頁，共51頁。v用 窗法估計單一正態(tài)分布的實驗Parzen001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1第38頁/共

8、50頁第三十九頁，共51頁。第39頁/共50頁第四十頁，共51頁。-2.5x-20 x2其它(qt)x-2.5-210.2502P(x)第40頁/共50頁第四十一頁，共51頁。001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1v用 窗法估計兩個均勻分布的實驗Parzen第41頁/共50頁第四十二頁，共51頁。結論：結論： 由上例知窗口法的優(yōu)點是應用的普遍性。對規(guī)則分布，由上例知窗口法的優(yōu)點是應用的普遍性。對規(guī)則分布，非規(guī)則分

9、布，單鋒或多峰分布都可用此法進行密度估計非規(guī)則分布，單鋒或多峰分布都可用此法進行密度估計。 要求樣本要求樣本(yngbn)足夠多，才能有較好的估計。因此使足夠多，才能有較好的估計。因此使計算量，存儲量增大。計算量，存儲量增大。第42頁/共50頁第四十三頁，共51頁。第43頁/共50頁第四十四頁，共51頁。V1為N=1時的VN值第44頁/共50頁第四十五頁，共51頁。第45頁/共50頁第四十六頁，共51頁。 第46頁/共50頁第四十七頁，共51頁。P*PK 第47頁/共50頁第四十八頁，共51頁。PP(e)BayesK近鄰(jn ln)最近(zujn)鄰第48頁/共50頁第四十九頁，共51頁。第49頁/共50頁第五十頁，共51頁。NoImage內(nèi)容(