多元線性回歸方法及其應(yīng)用實(shí)例.ppt

第三章 多元線性回歸模型,主要內(nèi)容,多元線性回歸模型的一般形式 參數(shù)估計(jì)（ OLS估計(jì)） 假設(shè)檢驗(yàn) 預(yù)測(cè),一. 多元線性回歸模型,問題的提出 解析形式 矩陣形式,問題的提出,現(xiàn)實(shí)生活中引起被解釋變量變化的因素并非僅只一個(gè)解釋變量，可能有很多個(gè)解釋變量。 例如，產(chǎn)出往往受各種投入要素資本、勞動(dòng)、技術(shù)等的影響；銷售額往往受價(jià)格和公司對(duì)廣告費(fèi)的投入的影響等。 所以在一元線性模型的基礎(chǔ)上，提出多元線性模型解釋變量個(gè)數(shù) 2,多元線性回歸模型的假設(shè),解釋變量 Xi 是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)，即無多重共線性。 隨機(jī)誤差項(xiàng)具有0均值和同方差 隨機(jī)誤差項(xiàng)不存在序列相關(guān)關(guān)系 隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān) 隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布,多元模型的解析表達(dá)式,多元模型的矩陣表達(dá)式,矩陣形式,二. 參數(shù)估計(jì)(OLS),參數(shù)值估計(jì) 參數(shù)估計(jì)量的性質(zhì) 偏回歸系數(shù)的含義 正規(guī)方程 樣本容量問題,1.參數(shù)值估計(jì)(OLS),得到下列方程組,求參數(shù)估計(jì)值的實(shí)質(zhì)是求一個(gè)k+1元方程組,正規(guī)方程,變成矩陣形式,正規(guī)方程,矩陣形式,最小二乘法的矩陣表示,2.1最小二乘估計(jì)量的性質(zhì),（1）線性（估計(jì)量都是被解釋變量觀測(cè)值的線性組合） （2）無偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值） （3）有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）,OLS估計(jì)量的性質(zhì)（續(xù)）,線性,無偏性,有效性,2.2 OLS回歸線的性質(zhì),完全同一元情形：,2.3 隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì),注解：k與k+1,凡是按解釋變量的個(gè)數(shù)為k的，那么共有k+1個(gè)參數(shù)要估計(jì)。而按參數(shù)個(gè)數(shù)為k的，則實(shí)際有k-1個(gè)解釋變量?？傊畠烧呦嗖?而已！要小心所用的k是什么意思！ 所以如果本來是用解釋變量個(gè)數(shù)的k表示的要轉(zhuǎn)換成參數(shù)個(gè)數(shù)的k則用k-1代換原來的k就可以了！,3.偏回歸系數(shù)的意義,多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù) 某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個(gè)單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動(dòng),4.正規(guī)方程,由最小二乘法得到的用以估計(jì)回歸系數(shù)的線性方程組，稱為正規(guī)方程,正規(guī)方程的結(jié)構(gòu),Y 被解釋變量觀測(cè)值 n x 1 X 解釋變量觀測(cè)值（含虛擬變量n x (k+1) ） XX 設(shè)計(jì)矩陣（實(shí)對(duì)稱(k+1) x (k+1)矩陣 ） XY 正規(guī)方程右端 n x 1 回歸系數(shù)矩陣（ (k+1) x 1 ） 高斯乘數(shù)矩陣， 設(shè)計(jì)矩陣的逆 殘差向量（ n x 1 ） 被解釋變量的擬合（預(yù)測(cè)）向量 n x 1,5.多元回歸模型參數(shù)估計(jì)中的樣本容量問題,樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。 獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。 最小樣本容量：滿足基本要求的樣本容量,最小樣本容量 n k+1,(XX)-1存在| XX | 0 XX 為k+1階的滿秩陣 R(AB) min(R(A),R(B) R(X) k+1 因此，必須有nk+1,滿足基本要求的樣本容量,一般經(jīng)驗(yàn)認(rèn)為： n 30或者n 3(k+1)才能滿足模型估計(jì)的基本要求。 n 3(k+1)時(shí)，t分布才穩(wěn)定，檢驗(yàn)才較為有效,第三節(jié) 多元線性回歸模型的檢驗(yàn),本節(jié)主要介紹： 3.1 擬合優(yōu)度檢驗(yàn)（判定系數(shù)及其校正） 3.2 回歸參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)） 3.3 回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)） 3.4 擬合優(yōu)度、t檢驗(yàn)、F檢驗(yàn)的關(guān)系,3.1.1 擬合優(yōu)度檢驗(yàn) 總平方和、自由度的分解,目的：構(gòu)造一個(gè)不含單位，可以相互比較，而且能直觀判斷擬合優(yōu)劣的指標(biāo)。 類似于一元情形，先將多元線性回歸作如下平方和分解：,對(duì)以上自由度的分解的說明,3.1.2 判定系數(shù),判定系數(shù)的定義： 意義：判定系數(shù)越大，自變量對(duì)因變量的解釋程度越高，自變量引起的變動(dòng)占總變動(dòng)的百分比高。觀察點(diǎn)在回歸直線附近越密集。 取值范圍：0-1,3.1.3 校正判定系數(shù),為什么要校正？ 判定系數(shù)隨解釋變量個(gè)數(shù)的增加而增大。易造成錯(cuò)覺：要模型擬合得越好，就應(yīng)增加解釋變量。然而增加解釋變量會(huì)降低自由度，減少可用的樣本數(shù)。并且有時(shí)增加解釋變量是不必要的。 導(dǎo)致解釋變量個(gè)數(shù)不同模型之間對(duì)比困難。 判定系數(shù)只涉及平方和，沒有考慮自由度。 校正思路： 引進(jìn)自由度校正所計(jì)算的平方和。,校正判定系數(shù) （續(xù)）,3.2 回歸參數(shù)的顯著性檢驗(yàn) t檢驗(yàn),以下給出t-檢驗(yàn)的具體過程,3.3 回歸方程的顯著性檢驗(yàn) （F檢驗(yàn)）,回歸系數(shù)的t檢驗(yàn)，檢驗(yàn)了各個(gè)解釋變量Xj單獨(dú)對(duì)應(yīng)變量Y是否顯著；我們還需要檢驗(yàn)：所有解釋變量聯(lián)合在一起，是否對(duì)應(yīng)變量Y也顯著？ 這即是下面所要進(jìn)行的F-檢驗(yàn)。,3.3.1 方差分析表,以下用表格的形式列出平方和、自由度、方差,3.3.2 F檢驗(yàn)（單側(cè)檢驗(yàn)）,3.4 各種檢驗(yàn)之間的關(guān)系,3.4.1 經(jīng)濟(jì)意義檢驗(yàn)和其他檢驗(yàn)的關(guān)系聯(lián)系： 判斷一個(gè)回歸模型是否正確，首先要看模型是否具有合理的經(jīng)濟(jì)意義，其次才是統(tǒng)計(jì)檢驗(yàn)。,3.4.2 擬合優(yōu)度和F檢驗(yàn)的關(guān)系,（1）都是對(duì)回歸方程的顯著性檢驗(yàn)； （2）都是把總平方和分解，以構(gòu)成統(tǒng)計(jì)量進(jìn)行檢驗(yàn)； （3）兩者同增同減，具有一致性。,擬合優(yōu)度和F檢驗(yàn)的關(guān)系（續(xù)）,區(qū)別： （1）F檢驗(yàn)中使用的統(tǒng)計(jì)量有精確的分布，而擬合優(yōu)度檢驗(yàn)沒有； （2）對(duì)是否通過檢驗(yàn)，判定系數(shù)（校正判定系數(shù)）只能給出一個(gè)模糊的推測(cè)；而F檢驗(yàn)可以在給定顯著水平下，給出統(tǒng)計(jì)上的嚴(yán)格結(jié)論；,3.4.2 F檢驗(yàn)和t檢驗(yàn)的關(guān)系,在一元的情形，兩者是一致的，等價(jià)的。對(duì)單個(gè)解釋變量顯著性進(jìn)行t檢驗(yàn)，也就檢驗(yàn)了解釋變量的整體顯著性（F檢驗(yàn)）；并且可以證明：Ft2 （所以在一元情形，只需要進(jìn)行一種檢驗(yàn)） 多元中，不存在以上關(guān)系。,回歸模型假設(shè)檢驗(yàn)的步驟,查看擬合優(yōu)度，進(jìn)行F檢驗(yàn)，從整體上判斷回歸方程是否成立，如果F檢驗(yàn)通不過，無須進(jìn)行下一步；否則進(jìn)行下一步 查看各個(gè)變量的t值及其相應(yīng)的概率，進(jìn)行t檢驗(yàn)，如果相應(yīng)的概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為0，該自