版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
第七章多元回歸分析詳解演示文稿當(dāng)前第1頁\共有45頁\編于星期三\8點(diǎn)優(yōu)選第七章多元回歸分析當(dāng)前第2頁\共有45頁\編于星期三\8點(diǎn)第一節(jié)多元線性回歸第二節(jié)可化為多元線性回歸的問題第三節(jié)自變量的選擇與逐步回歸當(dāng)前第3頁\共有45頁\編于星期三\8點(diǎn)第一節(jié)多元線性回歸多元線性回歸模型一般形式
其中,,,…,是p+1個(gè)未知參數(shù),為回歸常數(shù),,…,為回歸系數(shù)。y稱為被解釋變量,,…,是p個(gè)可以精確測量并可以控制的一般變量,稱為解釋變量當(dāng)前第4頁\共有45頁\編于星期三\8點(diǎn)對(duì)一實(shí)際問題,若得到n組觀測數(shù)據(jù)(,,…,;),i=1,2,…,n,則線性模型可表示為:當(dāng)前第5頁\共有45頁\編于星期三\8點(diǎn)寫成矩陣形式y(tǒng)11x11x21…x1pY=y2x=1x12x22…x2pyn1x1nx2n…xnp
ξ
1
ξ
2e=…
ξ
n則Y=Xβ+e當(dāng)前第6頁\共有45頁\編于星期三\8點(diǎn)一、多元線性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量,不是隨機(jī)變量,而且rk(X)=P+1<n,表明矩陣X中的自變量列間無多重共線性隨機(jī)誤差項(xiàng)具有零均值和同方差E(ξ
i)=0var(ξ
i)=E(ξ
i-E(ξ
i))2=E(ξ
i)2=σ2隨機(jī)誤差項(xiàng)在不同樣本點(diǎn)之間是相互獨(dú)立的,不存在序列相關(guān)cov(ξ
i,ξ
j)=0i≠ji,j=1,2,…ncov(ξ
i,ξ
j)=E((ξ
i-E(ξ
i)(ξ
j-E(ξj))=E(ξ
i)E(ξ
j)=0
當(dāng)前第7頁\共有45頁\編于星期三\8點(diǎn)隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)cov(xi,ξ
i)=0隨機(jī)誤差項(xiàng)的正態(tài)分布假定條件為
當(dāng)前第8頁\共有45頁\編于星期三\8點(diǎn)二、回歸參數(shù)的估計(jì)設(shè)令即當(dāng)前第9頁\共有45頁\編于星期三\8點(diǎn)當(dāng)前第10頁\共有45頁\編于星期三\8點(diǎn)以上是通過使用最小二乘法(OLSE)對(duì)回歸參數(shù)進(jìn)行的估計(jì),得到的回歸參數(shù)的最小二乘估計(jì)為在正態(tài)假定下,回歸參數(shù)的最大似然估計(jì)(MLE)與最小二乘法(OLSE)是完全相同的當(dāng)前第11頁\共有45頁\編于星期三\8點(diǎn)三、回歸方程的效果的檢驗(yàn)方程顯著性檢驗(yàn)回歸系數(shù)顯著性檢驗(yàn)擬合優(yōu)度鏈接當(dāng)前第12頁\共有45頁\編于星期三\8點(diǎn)1.方程顯著性檢驗(yàn)(F檢驗(yàn))F檢驗(yàn)是以方差分析為基礎(chǔ),對(duì)回歸總體線性關(guān)系是否顯著的一種假設(shè)檢驗(yàn),是解釋模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否顯著的方法利用F統(tǒng)計(jì)量進(jìn)行總體線性顯著性檢驗(yàn)的步驟如下:(1)提出關(guān)于P個(gè)總體參數(shù)的假設(shè)H0:b1=b2=…=bp=0(2)構(gòu)造統(tǒng)計(jì)量(3)檢驗(yàn)給定顯著性水平α,查F分布表若F>Fα,拒絕H0,表明回歸總體有顯著性關(guān)系.若F<Fα,接受原假設(shè),表明不存在線性關(guān)系當(dāng)前第13頁\共有45頁\編于星期三\8點(diǎn)2.回歸系數(shù)顯著性檢驗(yàn)回歸系數(shù)顯著性檢驗(yàn),是對(duì)每個(gè)解釋變量進(jìn)行檢驗(yàn).如果解釋變量對(duì)被解釋變量的影響不顯著,應(yīng)從模型中刪除,如果解釋變量對(duì)被解釋變量的影響顯著,應(yīng)保留在模型中.利用t統(tǒng)計(jì)量進(jìn)行參數(shù)顯著性檢驗(yàn)的步驟如下:(1)對(duì)總體參數(shù)提出假設(shè):H0:bi=0(2)構(gòu)造統(tǒng)計(jì)量:(回歸標(biāo)準(zhǔn)差)(3)檢驗(yàn)對(duì)給定α,若︱t︱>tα/2,說明拒絕原假設(shè)若︱t︱<tα/2,則接受原假設(shè).當(dāng)前第14頁\共有45頁\編于星期三\8點(diǎn)當(dāng)有多個(gè)自變量對(duì)因變量y無顯著影響時(shí),可以剔除多余變量,但由于自變量間的交互作用,不能一次剔除所有不顯著變量。一般是將t值(絕對(duì)值)最小的變量刪除掉,每次只剔除1個(gè)變量,再對(duì)求得的新的回歸方程進(jìn)行檢驗(yàn),直到保留的變量都對(duì)y有顯著影響為止。返回當(dāng)前第15頁\共有45頁\編于星期三\8點(diǎn)3.擬合優(yōu)度擬合優(yōu)度用于檢驗(yàn)回歸方程對(duì)樣本觀測值的擬合程度。樣本決定系數(shù)的取值在(0,1)區(qū)間內(nèi),越接近1,回歸擬合的效果越好;越接近0,回歸擬合的效果越差。當(dāng)前第16頁\共有45頁\編于星期三\8點(diǎn)四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R是由SSR和SST構(gòu)造的統(tǒng)計(jì)量,用來表示回歸方程對(duì)原有數(shù)據(jù)擬合程度的好壞,衡量作為一個(gè)整體的x1,x2,…,xp與y的線性關(guān)系的大小。當(dāng)前第17頁\共有45頁\編于星期三\8點(diǎn)復(fù)相關(guān)系數(shù)表示的是因變量與全體自變量之間的線性關(guān)系,它的符號(hào)不能由某一自變量的回歸系數(shù)的符號(hào)來確定,因而復(fù)相關(guān)系數(shù)都取正號(hào)。當(dāng)前第18頁\共有45頁\編于星期三\8點(diǎn)其它變量被固定后,計(jì)算任意兩個(gè)變量之間的相關(guān)系數(shù),這種相關(guān)系數(shù)稱為偏相關(guān)系數(shù)。當(dāng)前第19頁\共有45頁\編于星期三\8點(diǎn)簡單相關(guān)系數(shù)只是一種數(shù)量表面上的相關(guān)系數(shù),而并非本質(zhì)的東西。在多元回歸分析中,偏相關(guān)系數(shù)才真正反映因變量y與自變量以及自變量與的相關(guān)性的數(shù)量。返回當(dāng)前第20頁\共有45頁\編于星期三\8點(diǎn)五、預(yù)測所謂預(yù)測就是給定解釋變量一組值通過建立的多元回歸模型,估計(jì)出對(duì)應(yīng)的1、y0的點(diǎn)預(yù)測:2、y0以概率(1-α)落在某區(qū)間的區(qū)間預(yù)測:其中為隨機(jī)誤差項(xiàng)的標(biāo)準(zhǔn)差當(dāng)前第21頁\共有45頁\編于星期三\8點(diǎn)第二節(jié)可化為多元線性回歸的問題在自然科學(xué)中,y關(guān)于x的數(shù)量關(guān)系多數(shù)都不是簡單的線性關(guān)系,而是各種各樣的非線性關(guān)系,于是我們常會(huì)遇到非線性回歸模型,在非線性回歸模型中,一種類型是可以通過變量變換化為線性模型,然后按線性模型加以解決;另一種類型的非線性模型是用任何變量變換辦法都不能或不方便直接化為線性模型求得參數(shù)的估計(jì)值。當(dāng)前第22頁\共有45頁\編于星期三\8點(diǎn)多項(xiàng)式函數(shù)Y=β0+β
1x+β
2x2+…+β
pxp設(shè)τi=xi則多項(xiàng)式化為:Y=β
0+β
1τ
1+β
2τ
2
+…+β
pτ
p多元冪函數(shù)y=αx1β1x2β2…xpβplny=lnα+β1lnx1+…+β
plnxp令z=lny,β
0=lnα,τi=lnxiz=β
0+β
1τ
1+β
2τ
2+…+β
pτ
p當(dāng)前第23頁\共有45頁\編于星期三\8點(diǎn)指數(shù)函數(shù)y=a∏eβixi㏑y=㏑a+β
1x1+β
2x2+…+β
pxp
z=㏑y,β
0=㏑a,則z=β
0+β
1x1+β
2x2+…+β
pxp多元對(duì)數(shù)函數(shù)y=a+β
1㏑x1+β
2㏑x2+…+β
p㏑xp設(shè)τi=㏑xi,則y=a+β
1τ
1+β
2τ
2+…+β
pτ
p當(dāng)前第24頁\共有45頁\編于星期三\8點(diǎn)指數(shù)函數(shù)與冪函數(shù)的積y=aexp{∑β
ixi}∏xibi㏑y=㏑a+β
1x1+β
2x2+…+β
pxp
+b1㏑x1+b2㏑x2+…+bp㏑xp令z=㏑y,β
0=㏑a,τi=㏑xi
z=β
0+β
1x1+β
2x2+…+β
pxp+b1τ
1+b2τ
2+…+bpτ
p當(dāng)前第25頁\共有45頁\編于星期三\8點(diǎn)如果自變量相鄰數(shù)值之間大小間隔相等,而且相鄰樣本點(diǎn)對(duì)應(yīng)的因變量y的二次差分大致相同,則該總體可配合二次多項(xiàng)式函數(shù)如果是三次差分大致相同,則可配合三次多項(xiàng)式函數(shù)當(dāng)前第26頁\共有45頁\編于星期三\8點(diǎn)第三節(jié)自變量選擇與逐步回歸在建立一個(gè)實(shí)際問題的回歸模型,我們應(yīng)該如何確定回歸自變量。如果遺漏了某些重要的變量,回歸方程的效果肯定不好。如果考慮過多的變量,在這些變量中有些自變量對(duì)問題研究可能不重要,有些變量可能與其它變量有很大程度的重疊。如果模型把這些變量也引入的話,不僅計(jì)算量增大,而且得到的回歸方程的穩(wěn)定性也很差,直接影響了回歸方程的應(yīng)用。當(dāng)前第27頁\共有45頁\編于星期三\8點(diǎn)在實(shí)際應(yīng)用中,希望擬合這樣一個(gè)模型,它既能較好的反映問題的本質(zhì),又包含盡可能少的自變量。這兩個(gè)方面的一個(gè)適當(dāng)折中就是回歸方程的選取問題,其基本思想是在一定的準(zhǔn)則下選取對(duì)因變量影響較為顯著的自變量,建立一個(gè)既合理又簡單實(shí)用的回歸模型。當(dāng)前第28頁\共有45頁\編于星期三\8點(diǎn)在前面,我們認(rèn)為殘差平方和最小和復(fù)相關(guān)系數(shù)來衡量回歸擬合的好壞。因?yàn)楫?dāng)引入的自變量的個(gè)數(shù)增大時(shí),殘差平方和隨之減少,而復(fù)相關(guān)系數(shù)也隨之增大。因此如果按上述原則來選擇自變量,不論什么變量多取就行。但是由于變量之間的多重共顯性,給自變量的估計(jì)值帶來了不穩(wěn)定性,加上變量的抽樣誤差積累將是y值得估計(jì)值誤差增大。當(dāng)前第29頁\共有45頁\編于星期三\8點(diǎn)一窮舉法所謂窮舉法就是從所有可能的回歸方程中按一定的準(zhǔn)則選取最優(yōu)的一個(gè)或幾個(gè)。設(shè)在一個(gè)實(shí)際問題的回歸模型中,如果有m個(gè)可供選擇的變量,由于每個(gè)變量都有入選和不入選兩種情況,這樣y關(guān)于這些自變量的所有可能的回歸方程就有個(gè),這其中包括只包含常數(shù)項(xiàng)的這種情況。下面給出幾種選取準(zhǔn)則:當(dāng)前第30頁\共有45頁\編于星期三\8點(diǎn)1從擬合的角度考慮的準(zhǔn)則[準(zhǔn)則1]自由度調(diào)整復(fù)決定系數(shù)達(dá)到最大。當(dāng)給模型增加自變量時(shí),復(fù)相關(guān)系數(shù)的增大是以殘差自由度的減少為代價(jià)的。隨著自由度的減少,模型估計(jì)和預(yù)測的可靠性也在降低。調(diào)整復(fù)決定系數(shù)其中,為樣本容量,為自變量的個(gè)數(shù)。當(dāng)前第31頁\共有45頁\編于星期三\8點(diǎn)顯然有,隨著自變量的增加并不一定增大。因?yàn)殡S著變量的增加而減少,但由于其前面的系數(shù)起折扣作用,使得隨著自變量的增加并不一定增加。當(dāng)所增加的自變量對(duì)y不產(chǎn)生影響時(shí),反而可能減少。在一個(gè)實(shí)際問題的回歸建模中,自由度調(diào)整復(fù)決定系數(shù)越大,所對(duì)應(yīng)的回歸方程越好。當(dāng)前第32頁\共有45頁\編于星期三\8點(diǎn)[準(zhǔn)則2]平均殘差平方和達(dá)到最小。平均殘差平方和是指對(duì)應(yīng)于模型中的估計(jì),其中為自變量的個(gè)數(shù)。在此無偏估計(jì)式中加入了懲罰因子,它體現(xiàn)了對(duì)自變量個(gè)數(shù)的增加所施加的懲罰。當(dāng)前第33頁\共有45頁\編于星期三\8點(diǎn)一開始自變量個(gè)數(shù)開始增加時(shí),雖然因子增大了,但此時(shí)減少很多,故總起來說還是減少的。當(dāng)自變量增加到一定程度,重要的自變量基本上都已選上了,這時(shí)再增加自變量,減少不多,以至于抵消不了的增加,最終導(dǎo)致了的增加。隨著自變量個(gè)數(shù)的增加,平均殘差平方和是先減小后增大的趨勢。當(dāng)前第34頁\共有45頁\編于星期三\8點(diǎn)用平均殘差平方和來衡量回歸方程的擬合優(yōu)度,應(yīng)該用最小者所對(duì)應(yīng)的回歸子集為最優(yōu)方程。在自由度調(diào)整的復(fù)相關(guān)系數(shù)中,由于。由于分母并不隨p的變化而變化,因而使達(dá)到最小的準(zhǔn)則和使調(diào)整的復(fù)相關(guān)系數(shù)達(dá)到最大是等價(jià)的。當(dāng)前第35頁\共有45頁\編于星期三\8點(diǎn)2從極大似然估計(jì)方法考慮的準(zhǔn)則[準(zhǔn)則3]赤池信息量AIC達(dá)到最小。AIC既可以用于時(shí)間序列分析中的自回歸模型的定階上,也可以用來作回歸方程自變量的選擇。AIC=,其中是與自變量個(gè)數(shù)無關(guān)的常數(shù)。當(dāng)前第36頁\共有45頁\編于星期三\8點(diǎn)在回歸分析的建模過程中,對(duì)每一個(gè)回歸子集計(jì)算AIC,其中最小者所對(duì)應(yīng)的模型是“最優(yōu)”回歸模型。由于在正態(tài)假定下,參數(shù)的OLSE與MLE是一致的,因此,AIC準(zhǔn)則在OLSE的情況下也是適用的。當(dāng)前第37頁\共有45頁\編于星期三\8點(diǎn)3從預(yù)測的角度考慮的準(zhǔn)則[準(zhǔn)則4]統(tǒng)計(jì)量達(dá)到最小。馬勒斯從預(yù)測的角度提出的。統(tǒng)計(jì)量為,其中,為考慮到所有因素的全模型中的無偏估計(jì)。選擇最小最小的自變量子集,這個(gè)子集對(duì)應(yīng)的回歸方程就是最優(yōu)回歸方程。當(dāng)前第38頁\共有45頁\編于星期三\8點(diǎn)理論上,從所有可能的回歸方程中選擇應(yīng)該是最好的方法。但是,窮舉法所要擬合的回歸方程數(shù)隨自變量數(shù)目的增加而成倍增加,因此當(dāng)自變量的數(shù)目較大時(shí),計(jì)算量很大以至于難以實(shí)現(xiàn)。在這種情況下,逐步回歸是一種可行的選擇最優(yōu)回歸方程的方法。當(dāng)前第39頁\共有45頁\編于星期三\8點(diǎn)二逐步回歸一、“最優(yōu)”回歸方程的選擇1.回歸方程中包含盡量多的信息2.回歸方程中包含盡量少的變量方法:逐步剔除的回歸分析方法逐步引入的回歸分析方法“有進(jìn)有出”的回歸分析方法(逐步回歸分析方法)當(dāng)前第40頁\共有45頁\編于星期三\8點(diǎn)逐步剔除法(backward)1、用全部m個(gè)變量建立一個(gè)回歸方程2、對(duì)每個(gè)變量的回歸系數(shù)進(jìn)行F檢驗(yàn),選m個(gè)系數(shù)中F值最小者記為。如果有,則考慮把剔除。3、對(duì)剩余的m-1自變量重新建立回歸方程,再檢驗(yàn)……4、直至回歸方程中的變量的F檢驗(yàn)值都大于,沒有可剔除的變量為止。這時(shí)候的得到的回歸方程就是最重確定的方程。當(dāng)前第41頁\共有45頁\編于星期三\8點(diǎn)逐步剔出法有明顯的不足。一開始把全部自變量引入回歸方程,計(jì)算量很大。如果有些自變量不太重要,一開始就不
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 新疆烏魯木齊市2024-2025學(xué)年高二上學(xué)期期末英語B試卷(無答案)
- 2024男方公司經(jīng)營權(quán)離婚協(xié)議書3篇
- 2024琴行鋼琴出租合同含鋼琴租賃與品牌合作服務(wù)3篇
- 2024貼牌合作:家居用品定制生產(chǎn)合同協(xié)議3篇
- 2024計(jì)劃內(nèi)安全生產(chǎn)職責(zé)明確協(xié)議版B版
- 2024物品抵押企業(yè)經(jīng)營貸款合同3篇
- 2024年小學(xué)安全工作總結(jié)范文
- 2024年車輛安全責(zé)任協(xié)議
- 2025年度不良資產(chǎn)證券化項(xiàng)目盡職調(diào)查與合規(guī)審查合同3篇
- 2024版過路頂管施工合同
- 體育賽事志愿者管理
- 遼寧華電高科環(huán)保技術(shù)有限公司油泥煤循環(huán)流化床協(xié)同資源化工業(yè)化試驗(yàn)項(xiàng)目環(huán)境影響評(píng)價(jià)報(bào)告書
- 復(fù)旦大學(xué)普物B期末考試試卷
- 剪映教程PPT版本新版剪影零基礎(chǔ)教學(xué)課程課件
- 小學(xué)語文低年級(jí)寫話 鴿子
- GB/T 35223-2017地面氣象觀測規(guī)范氣象能見度
- GB/T 24183-2009金屬材料制耳試驗(yàn)方法
- 醫(yī)院感染質(zhì)量控制中心工作總結(jié)和計(jì)劃課件
- 中共一大介紹
- 生產(chǎn)車間5s管理培訓(xùn)課件
- 監(jiān)考要求、操作流程及指導(dǎo)語
評(píng)論
0/150
提交評(píng)論