模式識別解老師

模式識別第五章統(tǒng)計推斷

5.1統(tǒng)計推斷概述5.2參數(shù)估計（貝葉斯估計BE、最大似然估計MLE)5.3概率的窗函數(shù)估計法（Parzen窗法）目錄5.1統(tǒng)計推斷概述

統(tǒng)計推斷就是用樣本的特征值（統(tǒng)計量）在一定的概率保證下推斷相應(yīng)總體的特征值（參數(shù)）統(tǒng)計分析的結(jié)論是針對總體參數(shù)而言的，因此，統(tǒng)計推斷是科研工作中一個十分重要的工具，對實驗設(shè)計也有很大的指導(dǎo)意義在上一章的學(xué)習(xí)中,我們一直假設(shè)類的條件概率密度函數(shù)是已知的,然后去設(shè)計貝葉斯分類器。但在實際中，這些知識往往是不知道的，這就需要用已知的樣本進(jìn)行學(xué)習(xí)或訓(xùn)練。也就是說利用統(tǒng)計推斷理論中的估計方法，從樣本集數(shù)據(jù)中估計這些參數(shù)。本章目的：已知類別的樣本（訓(xùn)練樣本）→學(xué)習(xí)或訓(xùn)練→獲得類概密參數(shù)估計有兩類方法:將參數(shù)作為非隨機(jī)量處理，如矩法估計、最大似然估計；將參數(shù)作為隨機(jī)變量，貝葉斯估計就屬此類。（本章重點講貝葉斯估計）當(dāng)不知道類的概型時，就要采用非參數(shù)估計的方法，這種方法也稱為總體推斷，這類方法有：1.p-窗法（本章重點講）2.有限項正交函數(shù)級數(shù)逼近法3.隨機(jī)逼近法基本概念設(shè)模式空間?是n維的，母體（總體）：一個模式類稱為一個總體或母體母體的子樣：一個模式類中某些模式(即母體中的一些元素)的集合稱為這個母體的子樣。母體的子樣含有母體的某些信息，可以通過構(gòu)造樣本的函數(shù)來獲得。統(tǒng)計量：一般來說，每一個樣本都包含著母體的某些信息，為了估計未知參數(shù)就要把有用的信息從樣本中抽取出來。為此，要構(gòu)造訓(xùn)練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計學(xué)中稱為統(tǒng)計量。理論量（或理論分布）：經(jīng)驗分布：由樣本推斷的分布稱為經(jīng)驗分布。參數(shù)空間：在統(tǒng)計學(xué)中，把未知參數(shù)q的可能值的集合稱為參數(shù)空間，記為Q。點估計、估計量：針對某未知參數(shù)q構(gòu)造一個統(tǒng)計量作為q的估計，這種估計稱為點估計。稱為q的估計量。區(qū)間估計：在一定置信度條件下估計某一未知參數(shù)q的取值范圍，稱之為置信區(qū)間，這類估計成為區(qū)間估計。數(shù)學(xué)期望、方差等

均方收斂:一致估計:

當(dāng)樣本無限增多時，估計量依概率收斂于

，均方逼近:均方收斂:5.2參數(shù)估計（1、貝葉斯估計BE）首先先復(fù)習(xí)下貝葉斯公式貝葉斯公式：P(y|x)=(P(x|y)*P(y))/P(x)P(y|x)是后驗概率，一般是我們求解的目標(biāo)。P(x|y)是條件概率，又叫似然概率，一般是通過歷史數(shù)據(jù)統(tǒng)計得到。一般不把它叫做先驗概率，但從定義上也符合先驗定義。P(y)是先驗概率，一般都是人主觀給出的。貝葉斯中的先驗概率一般特指它。P(x)其實也是先驗概率，只是在貝葉斯的很多應(yīng)用中不重要（因為只要最大后驗不求絕對值），需要時往往用全概率公式計算得到。5.2參數(shù)估計考慮到的各種取值，我們應(yīng)求在空間中的期望，即平均損失：

105.2參數(shù)估計115.2參數(shù)估計不同的具體定義，可得到不同的最佳貝葉斯估計。比如，可以用平方誤差作為代價，此時：上式中，對于于是：125.2參數(shù)估計由于是非負(fù)的，只出現(xiàn)在內(nèi)層積分中，關(guān)于使最小等價于：為求極小，令135.2參數(shù)估計從而可得：145.2參數(shù)估計下面介紹估計所涉及的其它公式或近似算式：由于各樣本是獨立抽取的，故它們條件獨立，即有由貝葉斯定理知：155.2參數(shù)估計165.2.1一維正態(tài)分布下的貝葉斯估計設(shè)一維正態(tài)分布且總體方差已知（μ未知）：總體分布密度p(x/μ)～N(μ,σ2)μ的先驗概率P(μ)已知P(μ)～N(μ0,σ02)樣本集Xi

=(x1,x2,…，xN)T是取自N(μ,σ2)的樣本集求：μ的貝葉斯估計量17在二次損失函數(shù)下:利用貝葉斯公式，得：18由于：p(x|μ)～N(μ,σ2)P(μ)～N(μ0,σ02)所以19P(μ|X)為正態(tài)分布：比較上述2個公式，利用待定系數(shù)法，得：20解上式得：代入估計量公式：21如果令P(μ)為標(biāo)準(zhǔn)正態(tài)分布P(μ)～N(μ0,σ02)=N(0,1)則：與最大似然估計相似，只是分母不同22一維正態(tài)分布下的貝葉斯學(xué)習(xí)獨立抽取樣本23上式形成一個遞推公式：這種參數(shù)估計方法稱為遞推Bayes估計，如果這個序列收斂于以真實參數(shù)μ為中心的δ函數(shù)，該過程稱為遞推Bayes參數(shù)學(xué)習(xí)。24當(dāng)觀察一個樣本時，N=1就會有一個μ的估計值的修正值當(dāng)觀察N=4時，對μ進(jìn)行修正，向真正的μ靠近當(dāng)觀察N=9時，對μ進(jìn)行修正，向真正的μ靠的更近當(dāng)N↑,μN(yùn)就反映了觀察到N個樣本后對μ的最好推測，而σN2反映了這種推測的不確定性N↑,σN2↓,σN2

隨觀察樣本增加而單調(diào)減小，且當(dāng)N→∞,σN2→0

當(dāng)N↑，P(μ|xi)越來越尖峰突起N→∞,P(μ|xi)→δ函數(shù)，這個過程成為貝葉斯學(xué)習(xí)25265.2參數(shù)估計27參數(shù)估計（2、最大似然估計(MLE)）如同矩法估計一樣，最大似然估計要求已知總體的概型，即概密的具體函數(shù)形式，它也將被估計量作為確定性的變量對待。但最大似然估計適用范圍比矩法估計更寬一些，可以用于不是正態(tài)分布的情況。最大似然估計是參數(shù)估計中最重要的方法似然函數(shù)：當(dāng)個隨機(jī)樣本取定值時，稱為相對于的的似然函數(shù)。聯(lián)合概密設(shè)一個總體的概密為，其中是一個未知參數(shù)集，5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

由于是概密的一個確定性的參數(shù)集,因此實際上就是條件概密上式中不同的,將不同。如果各個是獨立抽取的，則進(jìn)一步有：295.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)最大似然估計：305.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)在實際中多是獨立取樣和經(jīng)常處理正態(tài)變量，而且對數(shù)函數(shù)是單值單調(diào)函數(shù)，對數(shù)似然函數(shù)與似然函數(shù)在相同的處取得最大值。315.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

在似然函數(shù)可微的條件下，求下面微分方程組的解：或等價地求作為極值的必要條件。對數(shù)似然方程組325.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

需要指出的是：對于具體問題，有時用上述方法不一定可行，原因之一是似然函數(shù)在最大值點處沒有零斜率。求出上面方程組中的一切解及邊界值，計算使最大的作為的最大似然估計。因此，最大似然的關(guān)鍵是必須知道概型。335.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

下面我們以多維正態(tài)分布為例進(jìn)行說明。（1）假設(shè)Σ是已知的，未知的只是均值μ，則：345.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

這說明，樣本總體的未知均值的最大似然估計就是訓(xùn)練樣本的平均值。它的幾何解釋就是：若把N個樣本看成是一群質(zhì)點，則樣本均值便是它們的質(zhì)心。3536可見，正態(tài)分布中的協(xié)方差陣Σ的最大似然估計量等于N個矩陣的算術(shù)平均值。37（3）對于一般的多維正態(tài)密度的情況，計算方法完全是類似的。最后的結(jié)果是：可以證明上式的均值是無偏估計，但協(xié)方差陣并不是無偏估計，無偏估計是：385.3概率的窗函數(shù)估計法（Parzen窗法）

概率密度的基本估計式上式的二項分式中使結(jié)果最大的k值稱為眾數(shù)設(shè)個樣本是從上述概密為的總體中獨立抽取的，個樣本中有個樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項分布如果是整數(shù)，則:

和設(shè)個樣本是從上述概密為的總體中獨立抽取的，個樣本中有個樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項分布40令為眾數(shù)，如果不是整數(shù)，則:

即等于的整數(shù)部分；如果是整數(shù)，則:

和41由于：所以：這里是的估計，當(dāng)較大較小時上式的近似程度是足夠的。425.4概密的窗函數(shù)估計法概率密度的基本估計式當(dāng)固定時，對的最大似然估計，由概率論知，的數(shù)學(xué)期望。435.4概密的窗函數(shù)估計法概率密度的基本估計式設(shè)區(qū)域R的體積為V，我們?nèi)足夠小，使ò?=RVxpxdxpP)()(rrr設(shè))(?xpr是)(xpr的估計，由上面二式有VxpxdxpPNkR)(?)(??rrr===ò于是可得445.4概密的窗函數(shù)估計法概率密度的基本估計式顯然是的基本估計式，它與有關(guān)，顯然和有一定的誤差。

理論上，要使

R0

V0，同時k，N。

而實際估計時體積不是任意的小，且樣本總數(shù)總是存在誤差。

也是有限的，所以454647P窗法Parzen窗方法的基本思想是利用一定范圍內(nèi)的各點密度的平均值對總體密度函數(shù)進(jìn)行估計。Parzen窗（Parzenwindow）又稱為核密度估計（kerneldensityestimation），是概率論中用來估計未知概率密度函數(shù)的非參數(shù)方法之一。5.4概密的窗函數(shù)估計法Parzen窗法為能用函數(shù)描述區(qū)域NR和對落入NR的樣本計數(shù)，定義窗函數(shù)),,,(21￠=nuuuuLr?íì=￡=j其它當(dāng),0,,2,1,21,1)(niuuiLr

這樣，)(urj以函數(shù)值1界定了一個以原點為中心、棱長為1的n維超立方體。495.4概密的窗函數(shù)估計法Parzen窗法

如果一個樣本jxr落入以xr為中心以Nh為棱長的超立方體NR內(nèi)時則計數(shù)為1，否則計數(shù)為0，我們可以利用窗函數(shù))(xrj實現(xiàn)這個約定，即落入該立方體NR的樣本數(shù)50515.4概密的窗函數(shù)估計法Parzen窗法上面所講的是從構(gòu)造上導(dǎo)出了估計式，所取的窗函數(shù)即迭加基函數(shù)為維方窗(柱)函數(shù)。事實上只要窗函數(shù)滿足下面的兩個條件:由式構(gòu)造的估計式就是概密函數(shù)。525.4概密的窗函數(shù)估計法Parzen窗法

按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述兩個條件的函數(shù)作窗函數(shù)。下面列出幾個一維窗函數(shù)的例子，n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。⑶

指數(shù)窗函數(shù)

[]uu-=jexp)(⑴

方窗函數(shù)

?íì￡=j其它,021,1)(uu⑵

正態(tài)窗函數(shù)

ú?ùê?é-p=j221exp21)(uu⑷

三角窗函數(shù)

?íì>￡-=j1,01,1)(uuuu53下面進(jìn)一步討論窗寬對估計的影響:5.4概密的窗函數(shù)估計法Parzen窗法定義:于是估計式表示成:影響的幅度和寬度。注意到:可看出545.4概密的窗函數(shù)估計法Parzen窗法若Nh較大，則)(jNxxrr-d幅度將較小，而寬度增大)(?xpNr是N個低幅緩變寬的函數(shù)迭加,)(?xpNr較平滑，不能跟上的變化，分辨率較低。)(xpr555.4概密的窗函數(shù)估計法Parzen窗法估計量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計量的性能只能用統(tǒng)計性質(zhì)表示。在滿足下列條件下是漸近無偏估計、均方收斂、均方逼近、且是漸近正態(tài)分布。⑴

概密)(xpr在xr處連續(xù)⑵

窗函數(shù)滿足下列條件①0)(3jur②

ò=j1)(udurr③

￥<j)(supuurr④

0)(lim1=j?=￥?niiuuurr565.4概密的窗函數(shù)估計法Parzen窗法估計量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計量的性能只能用統(tǒng)計性質(zhì)表示。在滿足下列條件下是漸近無偏估計、均方收斂、均方逼近、且是漸近正態(tài)分布。⑶窗寬限制⑤

⑥⑷對樣本的要求⑦⑧57(1)是的漸近無偏估計證明：5859例1：對于一個二類（ω1

，ω2

）識別問題，隨機(jī)抽取ω1類的6個樣本X=(x1，x2，….x6)ω1=(x1，x2，….x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估計P(x|ω1)即PN(x)解：選正態(tài)窗函數(shù)0123456x6x5x3x1x2x4x60∵x是一維的上式用圖形表示是6個分別以3.2，3.6，3，6，2.5，1.1為中心的丘形曲線(正態(tài)曲線)，而PN(x)則是這些曲線之和。61由圖看出，每個樣本對估計的貢獻(xiàn)與樣本間的距離有關(guān)，樣本越多，PN(x)越準(zhǔn)確。62例2：設(shè)待估計的P(x)是個均值為0，方差為1的一維正態(tài)密度函數(shù)。若隨機(jī)地抽取X樣本中的1個、16個、256個作為學(xué)習(xí)樣本xi,試用窗口法估計PN(x)。解：設(shè)窗口函數(shù)為正態(tài)的，σ＝1，μ＝0hN:窗長度，N為樣本數(shù)，h1為選定可調(diào)節(jié)的參數(shù)。63用窗法估計單一正態(tài)分布的實驗N=∞N=256N=16N=164討論：由圖看出,PN(x)隨N,h1的變化情況①當(dāng)N＝1時，PN(x)是一個以第一個樣本為中心的正態(tài)形狀的小丘，與窗函數(shù)差不多。②當(dāng)N＝16及N=256時

h1＝0.25曲線起伏很大，噪聲大

h1＝1起伏減小

h1＝4曲線平坦，平均誤差

③當(dāng)N→∞時，PN(x)收斂于一平滑的正態(tài)曲線，估計曲線較