回歸模型課件

第3講回歸模型outline1.一個(gè)例子2.最小二乘法3.概率解釋4.從線性到非線性：用線性模型5.深度研究：正則化6.深度研究：偏置-方差困境7.當(dāng)注入噪聲，發(fā)生了什么事情知識(shí)點(diǎn)：回歸分析的基本理論概念、性質(zhì)、計(jì)算最小二乘法的推導(dǎo)和計(jì)算回歸分析的概率解釋非線性函數(shù)的回歸分析回歸分析的深度思考重點(diǎn)與難點(diǎn)：重點(diǎn)：回歸分析推導(dǎo)和計(jì)算。難點(diǎn)：回歸分析概率解釋。公式中

定義的是一組固定但未知的參數(shù)，ε表示模型的期望誤差，“固定的”表示我們假定環(huán)境是穩(wěn)定的，靜態(tài)的(stationary)，寫為向量矩陣形式：假定

，各個(gè)分量代表各個(gè)特征輸入，構(gòu)成一個(gè)回歸量；d對(duì)應(yīng)于x的一個(gè)輸出。它們的依賴關(guān)系可以由如下一個(gè)線性回歸模型表達(dá)。假定有訓(xùn)練集定義如下costfunction（代價(jià)或能量函數(shù)）：通過(guò)梯度下降算法，我們可以得到ω，η稱為學(xué)習(xí)速率。2.最小二乘法假定有訓(xùn)練集

定義如下costfunction（代價(jià)或能量函數(shù)）：通過(guò)梯度下降算法，我們可以得到ω，η稱為stepsize，機(jī)器學(xué)習(xí)叫學(xué)習(xí)速率。2.最小二乘法

令，

因此計(jì)算參數(shù)ω的算法是這個(gè)算法也稱為Widrow-Hoff學(xué)習(xí)規(guī)則，至此此時(shí)只針對(duì)Ω僅有一個(gè)樣本的情況。對(duì)于N個(gè)樣本情形，可以改造算法如下：注意到算法每次迭代都是把整個(gè)訓(xùn)練集用來(lái)更新參數(shù)，這種形式稱為batchgradientdescent批量梯度下降

這種方法稱為隨機(jī)梯度下降算法（stochasticgradientdesent），在比較大的訓(xùn)練集的情況下，BGD算法計(jì)算量大。雖然SGD算法在最小值得周邊震蕩，但依然選擇本算法，因?yàn)榭梢暂^快收斂。也可以如下操作，有同樣的效果：如果逆存在，可以得到顯示解，于是，要最小化J，令其導(dǎo)數(shù)為零，則有，則在這里誤差假設(shè)服從高斯分布indicatesthatthisisthedistributionofy(i)givenx(i)andparameterizedbyθ.weshouldnotconditiononθ(“p(y(i)|x(i),θ)”),sinceθisnotarandomvariable.GivenX(thedesignmatrix,whichcontainsallthex(i)’s)andθ,whatisthedistributionofthey(i)’s?Theprobabilityofthedataisgivenbyp(y|X;θ).Thisquantityistypicallyviewedafunctionofy(andperhapsX),forafixedvalueofθ.Whenwewishtoexplicitlyviewthisasafunctionofθ,wewillinsteadcallitthelikelihoodfunction:對(duì)多個(gè)y

Now,giventhisprobabilisticmodelrelatingthey(i)’sandthex(i)’s,whatisareasonablewayofchoosingourbestguessoftheparametersθ?Theprincipalofmaximumlikelihoodsaysthatweshouldchooseθsoastomakethedataashighprobabilityaspossible.I.e.,weshouldchooseθtomaximizeL(θ).LeastSquaresRegressionLeastSquaresRegressionStatisticalmodel：where

iszero-meannoisefori=1，..n。Ideallynoiseshouldbeiidzero-meanGaussianforsomeunknowmσ2Remark:leastsquaresregressionissensitivetooutliers

notrobustif

isheaviertailedthanGaussian4.從線性到非線性：用線性模型LinearModelwithNonlinearBasisConsidernonlinearbasisfunctions,wecanwriteagenerallinearmodelasExampleⅠ:ExampleⅡ:Canstilluseleastsquaresmethodtoestimatestilllinearmodel：estimationmethodislinearLinearmethodcanmodelnonlinearfunctionsusingnonlinearbasisfunctionsModelNonlinearity構(gòu)造（w，d）的聯(lián)合概率分布函數(shù)上，觀測(cè)的回歸量x為條件，由貝葉斯公式注意：此處觀察量和隨機(jī)變量混淆了，請(qǐng)結(jié)合上下文理解。1.觀測(cè)密度p(d|ω,x)：給定參數(shù)向量ω，由回歸量x對(duì)環(huán)境響應(yīng)d的觀測(cè)；2.先驗(yàn)(prior)p(ω|x)：表示對(duì)ω的先驗(yàn)知識(shí)。ω獨(dú)立于x，所以p(ω|x)=p(ω)，記為π(ω)3.后驗(yàn)密度(posteriordensity)：P(ω|d,x)表示看到d，x產(chǎn)生ω的可能性，以后記為π(ω|d,x)。4.證據(jù)p(d|x)：表示基于x的d的取值概率。概率解釋的貝葉斯公式符號(hào)∝表示正比，表示似然函數(shù)。通過(guò)最大化似然函數(shù)，可以求得ω，稱為最大似然估計(jì)(ML)。在這里，因p(d|x)作為一個(gè)歸一化的常量角色，在研究ω的時(shí)候可以不管它，我們?cè)缦鹊母怕式忉屩?，d用y表示。這是文獻(xiàn)中常用的兩種表示方式。將訓(xùn)練集樣本理解為N次試驗(yàn)，有第i次試驗(yàn)的似然函數(shù)為：對(duì)于N次試驗(yàn)對(duì)等式兩端取對(duì)數(shù)，我們發(fā)現(xiàn)優(yōu)化l(w|d,x)與JΩ一致。將這個(gè)式子帶入后驗(yàn)估計(jì)：考慮到先驗(yàn)信息，以及我們的假設(shè)3：1.p=0,非凸，不可導(dǎo)；(w中非0元素的個(gè)數(shù))。求解是NP問題。2.p=1,（p=1,Lasso：Leastabsoluteshrinkageandselectionoperator,Tibshirani(1996)）,是p=0的最好近似，現(xiàn)有許多稀疏編碼采用。3.p∈(0,1)，非凸，可導(dǎo)；4.p>1,凸，可導(dǎo)。5.p=2算法穩(wěn)定,且允許M＞N。我們正則化約束實(shí)質(zhì)上是約束了ω的取值空間，讓模型復(fù)雜度變低。常用的正則化方式：當(dāng)樣本數(shù)量無(wú)限大的時(shí)候，因?yàn)槭堑慕?，這個(gè)方程也稱為法方程（NormalEquation）可以證明:ω是滿足最小均方誤差的解。因此，最大似然估計(jì)的解是無(wú)偏的，而最大后驗(yàn)的解是有偏的。我們利用正則化（引入先驗(yàn)知識(shí)）改進(jìn)最大似然估計(jì)器的穩(wěn)定性，其最大后驗(yàn)估計(jì)的結(jié)果是有偏的。6.深度研究：偏置-方差困境Bias-VarianceDilemma隨機(jī)環(huán)境的數(shù)學(xué)模型，其參數(shù)向量為w

a)隨機(jī)環(huán)境的回歸數(shù)學(xué)模型,理想狀況下；b)是基于觀察數(shù)據(jù)的物理模型，是未知參數(shù)向量ω的估計(jì)。是如下代價(jià)函數(shù)的最小化值：令ΕΩ