第四講概率密度估計

1、第四講：概率密度函數(shù)第四講：概率密度函數(shù)的估計（一）的估計（一）顧明亮2011年3月內(nèi)容提要內(nèi)容提要l引言l參數(shù)估計的方法l高斯分布參數(shù)估計l混合高斯分布參數(shù)估計一、引言一、引言 l問題形式的變化l本章學習的主要內(nèi)容l參數(shù)估計的基本方法問題一問題一已知： （1）樣本總的類別數(shù)；（2）各樣本類別的先驗概率；（3）測量值的類條件概率；（4）樣本特征矢量。求：給定樣本特征矢量所屬的類別1ii，2， ，cip|ip x12,tdxx xx求解方法（求解方法（1）1( |)|( )|,1,2,iijp xpxp xxpxi jciii（）最小錯誤率貝葉斯準則 (i)計算后驗概率： p (ii)根據(jù)后驗概

2、率確定所屬的類別： 如果p， ，ji 則：x求解方法（求解方法（2） 1|,|, ,1,2,cijjjjxxpxxrxi jc ji iiii（2）最小風險貝葉斯準則 (i)計算后驗概率：p (ii)計算條件期望損失: r (iii)根據(jù)風險大小決定所屬的類別： 如果:r 則：x問題二問題二已知： （1）樣本總的類別數(shù)；（2）各樣本類別的先驗概率；（3）類條件概率的分布形式及參數(shù)值；（如：正態(tài)分布及均值和協(xié)方差）（4）樣本特征矢量。求：給定樣本特征矢量所屬的類別ip1ii，2， ，c12,tdxx xx求解方法求解方法1)2| )|3xxiii（）計算條件概率：p(x|（ ）計算后驗概率：p(

3、（或計算條件期望損失：r）（ ）根據(jù)最小錯誤貝葉斯準則決策或根據(jù)最小風險貝葉斯準則決策問題三問題三本講擬解決的問題本講擬解決的問題已知：（1）樣本總的類別數(shù)；（2）若干訓練樣本特征矢量及其對應的類別（ ）（3）樣本所服從的統(tǒng)計分布函數(shù)但參數(shù)未知（如：正態(tài)分布，但均值與協(xié)方差矩陣未知）（4）測試樣本特征矢量：求：給定樣本特征矢量所屬的類別12,tdxx xx1ii，2， ，c1x2n，x ， ，x121nilllii， ， ，l，2， ，c本章學習內(nèi)容本章學習內(nèi)容ipi（1）如何利用給定的樣本集估計參數(shù)（如：正態(tài)分布的均值和協(xié)方差）（2）利用估計的參數(shù)計算p x|和（3）討論估計量 的性質（有偏

4、估計還是無偏估計、方差或均方誤差如何？）（4）利用樣本集直接估計錯誤率的方法參數(shù)估計的分類參數(shù)估計的分類l監(jiān)督參數(shù)估計（已知樣本的特征矢量及類別，先估計分布參數(shù)，再計算條件概率，然后計算后驗概率，最后決策。）l非監(jiān)督參數(shù)估計（已知樣本的特征矢量沒有告訴樣本的類別，先估計分布參數(shù)，再計算條件概率，然后計算后驗概率，最后進行決策。）l非參數(shù)估計（不去估計概率，直接根據(jù)已有訓練樣本提供的類別信息進行分類決策）二、未知概率密度函數(shù)估計二、未知概率密度函數(shù)估計l參數(shù)估計的概念l參數(shù)估計的方法l最大似然參數(shù)估計 (maximum likelihood parameter estimation)l最大后驗概

5、率估計 (maximum a posteriori probability estimation)l貝葉斯推理 (bayesian inference)l最大熵估計 (maximum entropy estimation)2.1 基本概念（基本概念（1）l統(tǒng)計量：樣本中包含著總體的信息，我們希望通過樣本集把有關信息抽取出來，即針對不同要求構造出樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計學上叫做統(tǒng)計量。l參數(shù)空間：在參數(shù)估計中，總是假定總體概率密度函數(shù)的形式已知，但分布中的參數(shù)未知，這些未知參數(shù)全部可容許的取值集合叫做參數(shù)空間。2.1 基本概念（基本概念（2）l點估計、估計量和估計值：1nd xxxdi(i

6、)(i)1ni點估計問題就是要構造一個統(tǒng)計量， ，作為參數(shù) 的估計 ，在統(tǒng)計學中稱之為估計量。如果x ，是屬于類別的幾個樣本觀察值，代入統(tǒng)計量 就得到對于第 類的 的具體數(shù)值，這個數(shù)值在統(tǒng)計學中稱為 的估計值。2.1 基本概念（基本概念（3）l兩點假設1223,|jjjjjjjjnp xp xp x cjjjj（1）參數(shù) 是確定的（非隨機的）未知量；（2）按類別把樣本集分開，假定有c個類別，則可分成c個樣本集， ，其中 中的樣本都是從概率密度p x|的總體中獨立抽取出來的。（）類條件概率密度p x|具有某種確定的函數(shù)形式。如正態(tài)分布、指數(shù)分布、 分布等，但其參數(shù)向量 未知。如一維正態(tài)分布未知的

7、參數(shù)為為表示同有關，把記為,jj 。2.2 最大似然估計最大似然估計1|(1)|(2); )(| )iiiinkkxp xp xp x12n12n已知：x=x ,x , ,x求：p顯化：；假設：x是從概率密度函數(shù)為p(x, )的分布函數(shù)中抽取得到的。p(x; )=p(x ,x , ,x 11111argmax(| )(| )0(4)ln(| )ln,10,nkknkknkknnkkkkkp xp xlp xlp xp xp xml（3）估計：定義：似然函數(shù)( loglikelihood function)舉例：正態(tài)分布函數(shù)的參數(shù)估計舉例：正態(tài)分布函數(shù)的參數(shù)估計 1111221111111111

8、,exp2(2 )loglog( )1122log( )122ntniipinntiiiintiiil xxxxllxxlnxx 構造統(tǒng)計量：求對 的微分得到：和結論結論111niintiiixxmxmn 令上面兩式等于零，可得到均值和協(xié)方差的最大似然估計為：1 =m=n討論討論lml估計是漸近無偏估計（asymptotically unbiased)lml估計也是漸近一致估計(asymptotically consistent)lml估計是漸近有效的。滿足cramer-rao準則lml估計當n趨近無窮大時，接近gaussian 分布。0immlnle0lim1mlnprob2.3 最大后驗概

9、率估計最大后驗概率估計 |:|0( ) (| )0mappp xpxp xmappxpp x估計：或與與ml的區(qū)別的區(qū)別 ( )mapp涉及到的問題。如果假定 服從均勻分布，即： 是某個常數(shù)，則ml與map得到的估計結果相同。但如果p不是均勻分布，則估計結果就不相同。舉例舉例 20/ 22111exp22ln|0llnkkpmapp xp假設特征矢量x服從正態(tài)分布，但參數(shù)和 未知，并且假定 也服從正態(tài)分布即：估計可通過求解下列方程得到：20221202122221110111nkknkkmapnmapmlkkixxnxn 對于當時，說明說明l方差很大，說明高斯分布很寬，在某個范圍內(nèi)可近似為水平

10、直線，即趨于均勻分布。所以map估計和ml估計兩者近似相等。2.4 貝葉斯推理貝葉斯推理l前提變化：原來假定估計量是確定的但未知?，F(xiàn)在假定估計量是隨機變量且未知。 1( |)( | )( |)( |)( | ) ( |)|(inkkp xp xp x xp x xp xpx dp xpp xppxp xp xpdp xp x其中此處用到樣本間統(tǒng)計獨立）討論討論 |pxp x xp xmappn 當在 點附近可以用一個尖峰來近似時，p|x，則即，貝葉斯推理退化為估計。當在尖峰附近可近似為常數(shù)時，貝葉斯估計進一步退化為ml估計。由此可見，三種估計在一定條件下可以相同，理論上，當n，三者估計方法相同

11、，但當 為有限值時，估計結果是不同的。三三 高斯分布參數(shù)估計的改進高斯分布參數(shù)估計的改進111( )loglog22( )3( )( )tiiiiiiixpxmxmxxxiiii將每個類的均值和協(xié)方差代入判別函數(shù)可得高斯分類器的決策規(guī)則：g(1)由各類別的訓練樣本集計算各類的m 和（2）由上式計算不同類下的g值；（ ）比較各類的大小g（4）將x歸為g取最小值的那個類別。問題的提出問題的提出11( )iixi（）如果計算得到的是奇異矩陣，不存在，則判別函數(shù)無法用，如何作決策？（2）若特征矢量維數(shù)高，而可用的訓練樣本數(shù)少，則二次判別函數(shù)g將退化，即判別的正確率就下降，怎么克服上述問題？解決辦法（解

12、決辦法（1）2111231( )log2cttiiiwiwig xpm s mx s m ii1（）將協(xié)方差矩陣對角化：即將的非對角元素置零。（ ）將特征矢量投影到非奇異空間，涉及到特征矢量的降維，然后再計算。（可用主成分分析方法。）（ ）假定各類的協(xié)方差矩陣相等：這時判別函數(shù)簡化為：解決辦法（解決辦法（2）l正則化判別分析 ,111/iiiiiwiiipiissnnnsnscipptrp ipi，其中01s，進一步可以修正為：i 為的單位矩陣，c反映的平均特征值。fredman(1989)提出。改進后的判別函數(shù)改進后的判別函數(shù)1,( )( )11( )loglog22jitiiiiiixgx

13、xg xxmxmp i若對所有ji有g則將 歸于中。討論討論0101參數(shù) 和 的選擇：確定兩參數(shù)的變化范圍：，以 和 為矩形的兩邊，將在上述范圍內(nèi)作n等分，構成一個柵格。計算各柵格點上的錯誤率或損失函數(shù)，選擇使之最小的 和 。方法簡評方法簡評l當協(xié)方差矩陣不是近似相等或樣本規(guī)模太小，以至于二次判別函數(shù)不可行時，正則化判別方法對改進分類性能很有幫助。l另有學者對非正態(tài)類型的線性和二次判別規(guī)則魯棒性進行了研究。四四 高斯混合模型高斯混合模型面臨的問題l前面我們只討論樣本特征矢量服從正態(tài)分布時我們?nèi)绾芜M行判別決策。如果樣本特征矢量不服從正態(tài)分布，我們怎么處理呢？數(shù)學表示方式數(shù)學表示方式1( )( ,

14、)1( ,),1,) ( , )mjjjmjjjp xp xmp xjmnj=1j一個未知概率密度函數(shù)p(x)可以寫成概某些已知密函數(shù)的線性組合：是混合分量的個數(shù)是混合系數(shù)，滿足為每個分量的概率密度函數(shù)。p(x,數(shù)學問題數(shù)學問題11,jjjjmjm利用訓練樣本，估計模型的三個參數(shù)：混合系數(shù)：， ，均值：，j=1, ,m協(xié)方差：，解決方法解決方法1111,(|),( | )0nnmjijjimmxp xp x 1（1）對于訓練樣本 x構造似然函數(shù)： l代表一組參數(shù)，表示分量函數(shù)對其參數(shù)的依賴。一般來說，要精確求l解方程是困難的，通常采用迭代法。這里介紹期望最大值化的算法（稱em算法）（em：expectation-maximisation)em算法原理算法原理 101|, |1log|,log,|,niinmmiinimpxg x zdzemeegyxg x zpzxdzdz mm似然函數(shù)：l方法從初始估計出發(fā)，產(chǎn)生對的一系列估計其中包括兩步：（） 步驟：q,估計，即 q,該值是以觀測數(shù)據(jù) x 為條件的完全數(shù)據(jù)對數(shù)似然比的期望，為當前參數(shù)值。em算法原理算法原理 1,mmmql m+1（2）m步驟找到使最大的在這一步，通常能得到封閉形式的解。因為似然函數(shù)滿足下式：l因此，它是