第二章-經(jīng)典多元線性回歸模型說課材料

1第二章經(jīng)典多元(duōyuán)線性回歸模型第一頁，共53頁。2第一節(jié)、多元(duōyuán)線性回歸模型1、回歸(huíguī)的含義“回歸(huíguī)”的本意：向“均值”回復(fù)的趨勢回歸的現(xiàn)代意義(RegressionAnalysis)：估計(jì)和預(yù)測被解釋變量的均值，是研究被解釋變量對于解釋變量依賴關(guān)系的計(jì)算方法和理論。第二頁，共53頁。3設(shè)系統(tǒng)(xìtǒng)因素?zé)o信息(xìnxī)時(shí)對隨機(jī)變量的預(yù)測：均值有信息時(shí)對隨機(jī)變量的預(yù)測(yùcè)：條件均值2、多元線性回歸模型的統(tǒng)計(jì)學(xué)解釋隨機(jī)因素(隨機(jī)擾動(dòng)項(xiàng))第三頁，共53頁。4此即為多元線性總體(zǒngtǐ)回歸模型。若設(shè)：則得：稱為多元(duōyuán)線性總體回歸函數(shù)。第四頁，共53頁。5計(jì)量經(jīng)濟(jì)學(xué)模型(móxíng)引入隨機(jī)擾動(dòng)項(xiàng)的原因：反映(fǎnyìng)影響被解釋變量的未知因素；代表數(shù)據(jù)觀測誤差；反映(fǎnyìng)影響被解釋變量的個(gè)體因素；第五頁，共53頁。6用上述(shàngshù)樣本得總體回歸函數(shù)得多元線性樣本(yàngběn)回歸函數(shù)：中的參數(shù)(cānshù)的估計(jì)：定義殘差：稱為多元線性樣本回歸模型。3、總體與樣本（PopulationandSample）樣本第六頁，共53頁。7第二節(jié)、多元線性回歸(huíguī)模型的估計(jì)一、普通(pǔtōng)最小二乘法（OLS）第七頁，共53頁。8若得到樣本(yàngběn)回歸函數(shù),記最小二乘原理(yuánlǐ)：第八頁，共53頁。9稱此方程組為為正規(guī)(zhèngguī)方程組第九頁，共53頁。10記：則多元線性總體回歸(huíguī)模型可表示(biǎoshì)為：第十頁，共53頁。11則多元線性樣本(yàngběn)回歸函數(shù)：可表示(biǎoshì)為：記：第十一頁，共53頁。12可以(kěyǐ)表示為殘差：此時(shí)，多元(duōyuán)線性樣本回歸模型：可以(kěyǐ)表示為：記殘差向量為第十二頁，共53頁。13由上述(shàngshù)正規(guī)方程組變形(biànxíng)得：第十三頁，共53頁。14第十四頁，共53頁。15正規(guī)(zhèngguī)方程組的矩陣形式:利用(lìyòng)前述引入的記號X,得第十五頁，共53頁。16多元線性回歸模型參數(shù)(cānshù)普通最小二乘估計(jì)與參數(shù)(cānshù)的關(guān)系：殘差向量(xiàngliàng)：第十六頁，共53頁。17普通(pǔtōng)最小二乘估計(jì)的殘差平方和：M為對稱(duìchèn)冪等矩陣記：第十七頁，共53頁。18由正規(guī)方程組得，多元線性回歸(huíguī)模型參數(shù)普通最小二乘估計(jì)殘差的性質(zhì)：第十八頁，共53頁。19二、經(jīng)典多元線性回歸(huíguī)模型的基本假定假設(shè)1，所有解釋變量之間互不相關(guān)（無多重共線性）。假設(shè)2，隨機(jī)擾動(dòng)項(xiàng)具有零期望(qīwàng)、同方差序列不相關(guān)。第十九頁，共53頁。20假設(shè)3，解釋(jiěshì)變量與隨機(jī)項(xiàng)不相關(guān)假設(shè)(jiǎshè)4，隨機(jī)擾動(dòng)項(xiàng)滿足正態(tài)分布假設(shè)(jiǎshè)5，線性模型設(shè)定是正確的。第二十頁，共53頁。21用矩陣(jǔzhèn)表示上述假設(shè)假設(shè)(jiǎshè)1相當(dāng)于矩陣X的秩R=k+1，即X滿秩，

假設(shè)(jiǎshè)2：零期望相當(dāng)于U的方差協(xié)方差矩陣定義：可逆同方差、不相關(guān)相當(dāng)于U的方差協(xié)方差矩陣V-COV（U）第二十一頁，共53頁。22假設(shè)(jiǎshè)4，向量U服從多維聯(lián)合正態(tài)分布，即假設(shè)(jiǎshè)3相當(dāng)于，E(X’U)=0第二十二頁，共53頁。23若多元線性回歸(huíguī)模型經(jīng)典假定成立，則第二十三頁，共53頁。24若多元線性回歸模型經(jīng)典假定成立，普通最小二乘估計(jì)(gūjì)的分布（1）參數(shù)(cānshù)普通最小二乘估計(jì)的方差與分布第二十四頁，共53頁。25此時(shí)(cǐshí)，為矩陣(jǔzhèn)第j+1列第j+1行元素(yuánsù)。第二十五頁，共53頁。26（2）隨機(jī)擾動(dòng)(rǎodòng)項(xiàng)方差估計(jì)的分布第二十六頁，共53頁。三、多元線性回歸模型的極大(jídà)似然估計(jì)。若前述經(jīng)典假設(shè)(jiǎshè)成立，則可得：其中(qízhōng)：第二十七頁，共53頁。似然函數(shù)(hánshù)為極大(jídà)似然估計(jì)的結(jié)果與OLS估計(jì)相同。第二十八頁，共53頁。29在滿足基本假設(shè)的情況下，多元線性模型參數(shù)的普通最小二乘估計(jì)具有線性性、無偏性、有效性。同時(shí)(tóngshí)，隨著樣本容量增加，參數(shù)估計(jì)量具有一致性。四、參數(shù)估計(jì)量的性質(zhì)(xìngzhì)第二十九頁，共53頁。301、線性性

其中(qízhōng),C=(X’X)-1X’為一僅與X有關(guān)的矩陣。2、無偏性

第三十頁，共53頁。313、證明(zhèngmíng)有效性，設(shè)是的任一線性無偏(wúpiān)估計(jì)，則存在某矩陣C*,使第三十一頁，共53頁。32可得：第三十二頁，共53頁。33的方差(fānɡchà)協(xié)方差(fānɡchà)矩陣為：證畢第三十三頁，共53頁。34同時(shí)，當(dāng)線性回歸模型經(jīng)典假定成立時(shí)，參數(shù)的普通(pǔtōng)最小二乘估計(jì)量是一致估計(jì)。第三十四頁，共53頁。351、最小樣本容量所謂“最小樣本容量”，即從最小二乘原理和最大似然原理出發(fā)，欲得到(dédào)參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量(biànliàng)的數(shù)目（包括截距項(xiàng)）,即nk+1五、樣本容量問題(wèntí)第三十五頁，共53頁。362、滿足基本(jīběn)要求的樣本容量從統(tǒng)計(jì)檢驗(yàn)的角度：n30時(shí)，Z檢驗(yàn)才能應(yīng)用；n-k8時(shí),t分布較為(jiàowéi)穩(wěn)定一般經(jīng)驗(yàn)認(rèn)為:當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本(jīběn)要求。

當(dāng)樣本容量較大時(shí)，模型普通最小二乘估計(jì)的性質(zhì)才比較好。第三十六頁，共53頁。37第三節(jié)、多元(duōyuán)線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

StatisticalTestofMultipleLinearRegressionModel第三十七頁，共53頁。38一、擬合(nǐhé)優(yōu)度1、可決系數(shù)(xìshù)與調(diào)整的可決系數(shù)(xìshù)記總離差平方和（TotalSumofSquares）回歸(huíguī)平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares）總離差平方和的分解第三十八頁，共53頁。39TSS=ESS+RSS可證明(zhèngmíng)：第三十九頁，共53頁。40可決系數(shù)(xìshù)（CoefficientofDetermination）：復(fù)相關(guān)系數(shù)(xìshù)。該統(tǒng)計(jì)量越接近(jiējìn)于1，模型的擬合優(yōu)度越高?？蓻Q系數(shù)的缺點(diǎn)(quēdiǎn)與調(diào)整第四十頁，共53頁。41調(diào)整(tiáozhěng)的可決系數(shù)（adjustedcoefficientofdetermination）其中(qízhōng)：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。問題：調(diào)整的可決系數(shù)(xìshù)多大才是合適的？第四十一頁，共53頁。422、赤池信息(xìnxī)準(zhǔn)則和施瓦茨準(zhǔn)則為了比較所含解釋變量個(gè)數(shù)不同(bùtónɡ)的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）施瓦茨準(zhǔn)則(zhǔnzé)（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或SC值時(shí)才在原模型中增加該解釋變量。

似然函數(shù)第四十二頁，共53頁。43二、模型(móxíng)的統(tǒng)計(jì)學(xué)檢驗(yàn)

TestingtheOverallSignificanceofaMultipleRegression(theFtest)第四十三頁，共53頁。44模型（或方程）的顯著性檢驗(yàn)(jiǎnyàn)，旨在對模型中被解釋變量與所有解釋變量之間的線性關(guān)系是否顯著成立作出推斷。對方程(fāngchéng)的檢驗(yàn)假設(shè)：聯(lián)合檢驗(yàn)1、多元線性回歸(huíguī)模型是否顯著的檢驗(yàn)第四十四頁，共53頁。45方程顯著性檢驗(yàn)(jiǎnyàn)的想法：如果這個(gè)比值(bǐzhí)較大，方程具有顯著性。否則，方程沒有顯著性。TSS=ESS+RSS第四十五頁，共53頁。46若H0成立，則F應(yīng)該(yīnggāi)比較??；反之，若F比較大，則拒絕原假設(shè)。給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，若FF(k,n-k-1)，則拒絕原假設(shè)H0，方程總體上顯著成立；否則，若F<=F(k,n-k-1)則沒有證據(jù)(zhèngjù)表明方程顯著成立。統(tǒng)計(jì)(tǒngjì)量第四十六頁，共53頁。47可決系數(shù)與方程顯著性檢驗(yàn)F統(tǒng)計(jì)(tǒngjì)量的關(guān)系１、Ｆ與可決系數(shù)(xìshù)同方向變化。２、Ｆ＝０與可決系數(shù)(xìshù)為０等價(jià)。第四十七頁，共53頁。48注意(zhùyì)：不能僅考慮擬合優(yōu)度的大小，只要經(jīng)檢驗(yàn)，方程具有顯著性，則一般情況下，擬合優(yōu)度就是合適的。問題：可決系數(shù)(xìshù)多大才是合適的？檢驗(yàn)(jiǎnyàn)可決系數(shù)為０與檢驗(yàn)(jiǎnyàn)方程的顯著性等價(jià)第四十八頁，共53頁。492、多元線性回歸模型變量的顯著性檢驗(yàn)：檢驗(yàn)?zāi)硞€(gè)解釋(jiěshì)變量對被解釋(jiěshì)變量是否有顯著的影響。原假設(shè)(jiǎshè)與備擇假設(shè)(jiǎshè)：H1：j0

H0：j=0

（j=1,2…k）

檢驗(yàn)(jiǎnyàn)統(tǒng)計(jì)量：若|Tj|t/2

(n-k-1)，則拒絕原假設(shè)H0，即第j個(gè)解釋變量對被解釋變量有顯著的影響。第四十九頁，共53頁。50第四節(jié)受約束回歸(huíguī)

RestrictedRegression問題(wèntí)：考察參數(shù)之間的某個(gè)關(guān)系是否(shìfǒu)成立如：上述模型中考察是否成立第五十頁，共53頁。