模式識(shí)別第六講-概率密度估計(jì)

第三章概率密度函數(shù)的估計(jì)

1前一章我們討論了各種決策規(guī)則，在設(shè)計(jì)分類(lèi)器時(shí)，總是假定先驗(yàn)概率和類(lèi)條件密度函數(shù)是已知的。在實(shí)際工作中，先驗(yàn)概率和類(lèi)條件密度函數(shù)都可能未知。2利用樣本設(shè)計(jì)分類(lèi)器的方法有兩種：從樣本中估計(jì)先驗(yàn)概率和類(lèi)條件密度函數(shù)，然后設(shè)計(jì)Bayes分類(lèi)器2）不作估計(jì)，直接利用樣本設(shè)計(jì)分類(lèi)器

在用第一種方法時(shí)，需要從收集的樣本中去估計(jì)先驗(yàn)概率和類(lèi)條件密度函數(shù)。這就要用到估計(jì)理論。討論如何估計(jì)（估計(jì)的方法），估計(jì)的好壞。3從樣本中估計(jì)概率密度函數(shù)時(shí)，有以下一些情況：概率密度估計(jì)參數(shù)估計(jì)(分布形式已知，但參數(shù)要估計(jì))非參數(shù)估計(jì)(分布形式未知，直接估計(jì)密度函數(shù))最大似然估計(jì)(把待估參數(shù)看作是確定的)貝葉斯估計(jì)(把待估參數(shù)看作是隨機(jī)的)43.1常數(shù)參數(shù)的估計(jì)

一般要估計(jì)的參數(shù)可能是標(biāo)量、向量、矩陣。不失一般性，假定待估參數(shù)是向量。在最大似然估計(jì)中，把待估參數(shù)看作是確定的常數(shù)。而貝葉斯估計(jì)則把看作是隨機(jī)變量，它的先驗(yàn)密度是已知的。5一.最大似然估計(jì)

令是隨機(jī)向量x的密度函數(shù)中的向量參數(shù)（其分量是標(biāo)量）。記x的密度函數(shù)為，令是觀測(cè)x所得到的N個(gè)樣本。在估計(jì)問(wèn)題中，這些樣本本身也是隨機(jī)變量，可以用一個(gè)聯(lián)合密度函數(shù)表示。假定這些樣本是獨(dú)立的。是的函數(shù)。它是的似然函數(shù)。6只要導(dǎo)數(shù)存在，使似然函數(shù)最大的可以通過(guò)解下面的似然方程或?qū)?shù)似然方程得到：的最大似然估計(jì)是，在N個(gè)觀測(cè)樣本的基礎(chǔ)上，選擇這樣的，它使似然函數(shù)最大。換句話(huà)說(shuō)，選擇的應(yīng)使落在（樣本）的附近小區(qū)域內(nèi)的概率最大。N個(gè)觀測(cè)樣本7由于對(duì)數(shù)函數(shù)是單調(diào)增的，所以這兩個(gè)方程完全是等價(jià)的。哪個(gè)用時(shí)方便，就用哪個(gè)。例1：計(jì)算機(jī)通道輸出請(qǐng)求出現(xiàn)率的估計(jì)假定計(jì)算機(jī)的某一通道輸出請(qǐng)求的時(shí)間間隔T按如下的指數(shù)函數(shù)分布：假定觀察了N個(gè)請(qǐng)求，間隔時(shí)間為，希望估計(jì)參數(shù)的大?。ǚQ(chēng)為到達(dá)率、出現(xiàn)率）8解：輸出請(qǐng)求間的間隔假定為獨(dú)立的。似然函數(shù)（聯(lián)合密度函數(shù)）為而（對(duì)數(shù)似然方程）

∴9例2：多元正態(tài)密度函數(shù)均值的估計(jì)。（上面的例子估計(jì)了一個(gè)標(biāo)量參數(shù)，本例估計(jì)一個(gè)向量參數(shù)。）已知隨機(jī)向量x是正態(tài)分布的，協(xié)方差矩陣K已知，均值m未知。給出N個(gè)樣本x(1)

，x(2)

，…，x(N)

，求均值的最大似然估計(jì)。解：似然函數(shù)是樣本的聯(lián)合密度函數(shù)10對(duì)數(shù)似然函數(shù)為樣本聯(lián)合密度函數(shù)的對(duì)數(shù)：將上式對(duì)m求導(dǎo)并令它等于0，有∵K是一個(gè)常數(shù)矩陣，∴即均值的最大似然估計(jì)等于樣本均值。113.2貝葉斯估計(jì)

最大似然估計(jì)把待估參數(shù)看作確定的量。貝葉斯估計(jì)和貝葉斯決策是一樣的思路。一.貝葉斯估計(jì)

如果對(duì)待估參數(shù)有一些先驗(yàn)知識(shí)，這時(shí)可以把待估參數(shù)看作一個(gè)隨機(jī)向量，用一個(gè)密度函數(shù)來(lái)刻畫(huà)，那么這時(shí)可以使用貝葉斯估計(jì)。12引入一個(gè)連續(xù)的損失函數(shù)，定義條件風(fēng)險(xiǎn)為：而13使最小的估計(jì)稱(chēng)貝葉斯估計(jì)。是一樣的。用符號(hào)“”是為了表示是一個(gè)隨機(jī)向量。14二.常用的損失函數(shù)，均方估計(jì)和最大后驗(yàn)估計(jì)

為了求貝葉斯估計(jì)，我們需要先定義（先給出）損失函數(shù)的形式。不同的損失函數(shù)會(huì)帶來(lái)不同的貝葉斯估計(jì)值。下面分析兩種常用的損失函數(shù)的形式。平方誤差損失函數(shù)和均方估計(jì)

,誤差的二次函數(shù)15而為了得到使最小的，只要∴即估計(jì)是的后驗(yàn)密度的均值。這個(gè)估計(jì)稱(chēng)為均方估計(jì)，因?yàn)樗咕秸`差最小。16求解均方估計(jì)的步驟可以歸納如下：確定的先驗(yàn)分布；求而利用貝葉斯公式，求的后驗(yàn)分布由樣本集，求聯(lián)合分布；17均勻損失函數(shù)和最大后驗(yàn)估計(jì)

損失函數(shù)為當(dāng)時(shí)，當(dāng)時(shí)，這時(shí)18區(qū)域是，任意小，這樣，為使最小，積分項(xiàng)應(yīng)最大。而積分項(xiàng)，所以應(yīng)使最大，稱(chēng)為最大后驗(yàn)估計(jì)。由貝葉斯公式如果先驗(yàn)概率是均勻的（在感興趣區(qū)），這時(shí)最大等價(jià)于最大。這時(shí)最大后驗(yàn)估計(jì)即最大似然估計(jì)。19例5：正態(tài)分布均值的貝葉斯估計(jì)令x(1)

，x(2)

，…，x(N)是從已知協(xié)方差矩陣Kx和未知均值m的正態(tài)分布中抽取的。假定均值本身的分布為正態(tài)N(m0，Km)分布（先驗(yàn)密度）利用貝葉斯公式，可得后驗(yàn)密度，是正態(tài)的，其均值為20當(dāng)都是一維時(shí)有：由于既是后驗(yàn)密度的均值，也是后驗(yàn)密度的最大值，所以既是均方估計(jì)也是最大后驗(yàn)估計(jì)2122樣本均值和先驗(yàn)均值的線(xiàn)性組合，系數(shù)和為1，且都是正的。23當(dāng)N＝0時(shí)，全部由先驗(yàn)均值定當(dāng)時(shí)，由樣本均值定當(dāng)樣本足夠多時(shí)，對(duì)、m0

的假設(shè)就不重要了，當(dāng)時(shí)，先驗(yàn)信息非?？煽浚上闰?yàn)均值定當(dāng)時(shí)，先驗(yàn)的推測(cè)不可靠，由樣本均值定24這節(jié)討論直接從樣本中估計(jì)密度函數(shù)的方法。主要介紹兩種方法：3.3概率密度函數(shù)估計(jì)的非參數(shù)方法（非參數(shù)估計(jì)）前兩節(jié)講的參數(shù)估計(jì)方法要求（假定）密度函數(shù)的形式是已知的。但實(shí)際工作中往往是：密度函數(shù)的形式不知道；密度函數(shù)的形式不是典型的常見(jiàn)分布，不能寫(xiě)成某些參數(shù)的函數(shù)。25一.Parzen窗估計(jì)Parzen窗法KN近鄰法基本思路（以一維隨機(jī)變量的密度函數(shù)的估計(jì)為例）對(duì)隨機(jī)變量x，假定得到了N個(gè)獨(dú)立的樣本，x(1)，x(2)，…，x(N)，它的密度函數(shù)p(x)可以用一個(gè)直方圖近似，每一小區(qū)間的寬度為，中點(diǎn)為。26樣本落在小區(qū)間內(nèi)的概率可以近似為如果樣本數(shù)足夠多，則概率（上述事件）可以用頻率（）近似。所以密度可以用近似。27把上述的思路一般化，定義如下的窗函數(shù)：

則是以為中心的x的函數(shù)。對(duì)落在內(nèi)的樣本，其函數(shù)值均為，對(duì)落在方窗外的樣本，函數(shù)值為0。28這時(shí)一個(gè)樣本貢獻(xiàn)，共有K個(gè)，換個(gè)角度，即是N個(gè)窗的迭加。函數(shù)r稱(chēng)為核函數(shù)，勢(shì)函數(shù)或者Parzen窗函數(shù)。核函數(shù)（窗函數(shù)）也可以是其它的形狀，常用的有2930矩形窗估計(jì)出的容易產(chǎn)生不連續(xù),而高斯窗估計(jì)出的要平滑些。為了滿(mǎn)足使估計(jì)出的是正的，而且積分為1（是密度函數(shù)），窗函數(shù)要滿(mǎn)足：31下面對(duì)上述方法作些分析。如果把區(qū)間2h（在多維時(shí)是體積V）固定，當(dāng)樣本數(shù)越來(lái)越多時(shí)，概率，但得到的密度卻是區(qū)間的平均值，而非某一點(diǎn)的；要得到，而不是的平均值，則體積V（2h）

0，但當(dāng)V

0時(shí)，若樣本數(shù)有限，則32實(shí)際上樣本數(shù)總是有限的，因此，不能使體積V（2h）無(wú)限小。

應(yīng)該讓體積V

隨著可用樣本數(shù)N而改變。如何變呢？假定有N個(gè)樣本可以利用。這時(shí)有，下標(biāo)N表示總樣本數(shù)。（一維時(shí)即）33若滿(mǎn)足以下三個(gè)條件：使空間平均密度點(diǎn)的頻率收斂于概率落在小區(qū)域內(nèi)的樣本同總數(shù)相比是低階無(wú)窮大則收斂于

34滿(mǎn)足上述三個(gè)條件的區(qū)域序列的選擇：

Parzen窗方法選擇使以變化。

是窗函數(shù)，它隨著可用樣本數(shù)N的增多而變窄變高(按)。35可以證明在某些限制條件下，上述估計(jì)量是漸進(jìn)無(wú)偏和均方一致的。KN近鄰估計(jì)方法的公式仍為KN近鄰估計(jì)選擇使KN

為N的某個(gè)函數(shù)（例如），而的選取是使它剛好包括的KN個(gè)近鄰。36Parzen窗法應(yīng)用舉例假定待估計(jì)的未知概率密度函數(shù)是兩個(gè)均勻分布密度函數(shù)的混合，即：37如果采用正態(tài)窗函數(shù)并設(shè)那么就是一個(gè)以個(gè)樣本為中心的正態(tài)密度窗函數(shù)的一個(gè)平均，即：38參數(shù)h1影響窗寬?？紤]h1取0.25，1和4三個(gè)不同的數(shù)值，用隨機(jī)數(shù)發(fā)生器按給定的概率密度函數(shù)產(chǎn)生隨機(jī)樣本，然后用上式估計(jì)

，計(jì)算結(jié)果如下：3910.01.00.10.010.001n=1h1=0.25h1

=1h1

=4-202-202-2024010.01.00.10.010.001n=16-202-202-202h1=0.25h1=1h1=44110.01.00.10.010.001n=256h1=0.25h1