模式識(shí)別和機(jī)器學(xué)習(xí)

1、2.3.5 Sequential estimation 1.序列估計(jì)的引入2.序列估計(jì)在參數(shù)估計(jì)中的應(yīng)用（高斯分布） 高斯分布對(duì)均值的最大似然估計(jì)如下 現(xiàn)在作如下變形：3.用R-M算法產(chǎn)生普遍化的序列學(xué)習(xí)算法 考慮變量z，兩個(gè)變量，聯(lián)合概率分布為P(z,)，在條件下的z的條件分布的期望是關(guān)于的函數(shù)，如下： （2.127） 像這樣定義的函數(shù)叫回歸函數(shù)？ 我們的目標(biāo)是找出 ，對(duì)于給出的數(shù)據(jù)有兩種情況： a 數(shù)據(jù)量足夠大，直接構(gòu)建回歸函數(shù)求出 b 數(shù)據(jù)分次給出，序列估計(jì)的方法求出現(xiàn)在考慮序列估計(jì)的方法,前提條件是滿足下面的公式 （2.128） 基于上面的描述，提出了針對(duì) 的序列估計(jì)，公式如下 系數(shù)

2、滿足以下三個(gè)條件 *Na通過引入R-M算法，求解最大似然解 首先引入下面的等式 交換積分和求導(dǎo)順序，并且使得 N 從2.134發(fā)現(xiàn)，求解 等價(jià)于求解回歸函數(shù)的根值，利用R-M公式 ML實(shí)例：對(duì)高斯分布的均值用序列估計(jì)的方法變量Z表示如下： 將2.136代入2.135 得到，并且假設(shè) ，得到2.126的單變量形式NaN22.3.6 Bayesian inference for the Gaussian 一般來說對(duì)最大似然函數(shù)的參數(shù)估計(jì)都是點(diǎn)估計(jì)，現(xiàn)在考慮用貝葉斯的方法，引入的原因？ 下面分三種情況考慮 a：均值未知，方差已知 b：均值已知，方差未知 c：均值、方差皆未知a:考慮單變量的情況，設(shè)

3、，并且假設(shè)方差已知，基于基于N個(gè)樣本觀測(cè)值來估計(jì)所以有關(guān) 的似然函數(shù)如下 ),(2Nx 選取 的先驗(yàn)分布 為 所以后驗(yàn)概率為 經(jīng)過證明得出 其中： 對(duì)上面兩個(gè)式子進(jìn)行分析 其中， 當(dāng)N=0的時(shí)候， 當(dāng)N= ， 其中 現(xiàn)在考慮一個(gè)D維的高斯變量X，且協(xié)方差已知，均值未知。現(xiàn)在有N個(gè)觀測(cè)值，利用前一節(jié)講到的序列估計(jì)的方法求在N個(gè)觀測(cè)值的基礎(chǔ)上估計(jì)均值。公式如下：,0MLN0NMLNuNnnMLxN11b：均值已知，方差未知 現(xiàn)在假設(shè)隨機(jī)變量x的方差未知，均值已知，并且為了后面的計(jì)算及討論方便令其中 為精度。 利用似然函數(shù)的定義可得 的似然函數(shù)如下：與之相對(duì)應(yīng)的先驗(yàn)分布為gamma分布為：gamma

4、分布的均值和方差如下： 21現(xiàn)在考慮一個(gè)先驗(yàn)分布為 ，將此分布與似然函數(shù)2.145式相乘，得到后驗(yàn)分布如下：將上式表達(dá)成參數(shù)為 的gamma分布如下：NaNbc.方差和均值皆未知 為了找到這種情況下的先驗(yàn)分布，先對(duì)兩個(gè)參數(shù)的共同的似然函數(shù)求出并變形：所以我們希望找出一個(gè)與似然函數(shù)類似的有關(guān)連個(gè)參數(shù)的先驗(yàn)分布 ，表示如下：2.153式子可以寫成貝葉斯的形式，通過觀察一個(gè)服從高斯分布，一個(gè)服從gamma分布。所以將先驗(yàn)分布表示如下：其中參數(shù) 上式的分布為標(biāo)準(zhǔn)伽馬分布或者高斯伽馬分布。2.154和2.152結(jié)合可以得到后驗(yàn)概率 現(xiàn)在考慮D維隨機(jī)變量x的多元高斯分布其分布為 ，那么均值 的先驗(yàn)分布也為

5、高斯分布。 假定均值已知，協(xié)方差矩陣未知，那么協(xié)方差矩陣的先驗(yàn)分布為維希特分布，形式如下： 其中 為自由度，B為常量由下式定義： c021a2b2cd當(dāng)精確度和均值都不知道的時(shí)候，那么關(guān)于兩者的先驗(yàn)分布為上式表示為標(biāo)準(zhǔn)維希特分布或者高斯維希特分布2.3.7 Students t-distributiont-分布引入解決高斯分布的的敏感性問題?假設(shè)隨機(jī)變量x服從高斯分布 ，精度的先驗(yàn)分布為 t分布的引入式通過對(duì)下式求積分得出 ，也就是求x的邊緣分布，如下：通過變量替換 上式形式變化為t分布 參數(shù) 是t分布的精度， 是自由度 t分布的特征：魯棒性 從式子2.158看出，t分布是無數(shù)多個(gè)均值相同方差不同的高斯分布的積分，也是混合高斯分布的一種，所以t分布比高斯分布有更長(zhǎng)的間隔，對(duì)于存在異常點(diǎn)的數(shù)據(jù)來說，沒有高斯分布敏感，這就是t分布的魯棒性。如下圖多元t分布分析將2.