一元線性回歸模型與多元線性回歸模型對比

一元線性回歸模型多元線性回歸模型總體回歸函數(shù)即總體回歸模型（總體回歸函數(shù)的隨機表達形式） 即樣本回歸模型（樣本回歸函數(shù)的隨機表達形式） 即樣本回歸函數(shù) 即 給定一組容量為n的樣本則，上述式子可以寫成：給定一組容量為n的樣本，則上述式子可以寫成：總體回歸函數(shù)總體回歸模型樣本回歸模型樣本回歸函數(shù)樣本回歸函數(shù)的離差形式解釋變量的個數(shù)（包括常數(shù)項）2個： C，Xk+1個： C，基本假定假設1：回歸模型是正確設定的。模型設定正確假設。假設2：確定性假設。解釋變量X是確定性變量，不是隨機變量，在重復抽樣中取固定值。:確定性假設。解釋變量是非隨機或固定的，且各之間不存在嚴格線性相關（無完全多重共線性）。假設3： 樣本變異性假設。對解釋變量X抽取的樣本觀察值并不完全相同。 樣本方差趨于常數(shù)假設。樣本變異性假設。各解釋變量在所抽取的樣本中具有變異性。 樣本方差趨于常數(shù)假設。隨著樣本容量的無限增加，各解釋變量的樣本方差區(qū)域一個非零的有限常數(shù)。假設4：隨機誤差項零均值、同方差、不序列相關假設。隨機誤差項零均值、同方差、不序列相關假設。 假設5：隨機誤差項與解釋變量不相關。隨機誤差項與解釋變量不相關。假設:6：正態(tài)性假設。隨機項服從正態(tài)分布。正態(tài)性假設。隨機項服從正態(tài)分布。參數(shù)估計一元線性回歸模型多元線性回歸模型普通最小二乘估計（OLS）殘差平方和達到最小，得到正規(guī)方程組，求得參數(shù)的普通最小二乘估計值：(普通最小二乘估計的離差形式)隨機干擾項的方差的估計量殘差平方和達到最小，得到正規(guī)方程組，求得參數(shù)的普通最小二乘估計值(普通最小二乘估計的離差形式)隨機干擾項的方差 最大似然估計(ML)矩估計（MM）參數(shù)估計值估計結果與OLS方法一致，但隨機干擾項的方差的估計量與OLS不同參數(shù)估計值估計結果與OLS方法一致，但隨機干擾項的方差的估計量參數(shù)估計量的性質線性性、無偏性、有效性線性性、無偏性、有效性參數(shù)估計量的概率分布-樣本容量問題-樣本容量n必須不少于模型中解釋變量的個數(shù)（包括常數(shù)項），即才能得到參數(shù)估計值，時t分布才比較穩(wěn)定，能夠進行變量的顯著性檢驗，一般認為活著至少時才能滿足模型估計要求。如果樣本量過小，則只依靠樣本信息是無法完成估計的，需要用其他方法去估計。統(tǒng)計檢驗一元線性回歸模型多元線性回歸模型擬合優(yōu)度檢驗總離差平方和的分解TSS=ESS+RSS，越接近于1，擬合優(yōu)度越高?？傠x差平方和的分解TSS=ESS+RSS，（即總平方和中回歸平方和的比例）對于同一個模型，越接近于1，擬合優(yōu)度越高。（調整的思路是殘差平方和RSS和總平方和TSS各自除以它們的自由度）為什么要對進行調整?解釋變量個數(shù)越多，它們對Y所能解釋的部分越大（即回歸平方和部分越大），殘差平方和部分越小，越高，由增加解釋變量引起的的增大與擬合好壞無關，因此在多元回歸模型之間比較擬合優(yōu)度， 就不是一個合適的指標，必須加以調整。方程總體顯著性檢驗-目的：對模型中被解釋變量與解釋變量之間的線性關系在總體上是否成立做出判斷。原假設H0:1=0，2=0，k=0備擇假設：H1：jj=1,2,k不全為零統(tǒng)計量的構造：F=ESSkRSS(n-k-1)F(k,n-k-1)判斷步驟：計算F統(tǒng)計量的值給定顯著性水平，查F分布的臨界值表獲得F(k,n-k-1) 比較F與F的值，若FF,拒絕原假設，認為原方程總體線性關系在1-的置信水平下顯著。若FF，接受原假設，不能認為原方程總體線性關系在1-的置信水平下顯著。變量的顯著性檢驗目的：對模型中被解釋變量對每一個解釋變量之間的線性關系是否成立作出判斷，或者說考察所選擇的解釋變量對被解釋變量是否有顯著的線性影響。針對某解釋變量Xj，原假設:H0:j=0,備擇假設：H1:j0最常用的檢驗方法: t檢驗構造統(tǒng)計量:t=j-jSj t(n-k-1)判斷步驟：計算t統(tǒng)計量的值給定顯著性水平，查t分布的臨界值表獲得t2(n-k-1)比較t值與t2的值，若tt2,拒絕原假設，認為變量Xj在1-的置信水平下通過顯著性檢驗（或者說，在的顯著性水平下通過檢驗），認為解釋變量Xj對被解釋變量Y有顯著線性影響。若tt2，接受原假設，在顯著性水平下沒有足夠證據(jù)表明Xj對Y有顯著線性影響。參數(shù)的置信區(qū)間目的：考察一次抽樣中樣本參數(shù)的估價值j與總體參數(shù)的真實值j的接近程度。思路：構造一個以樣本參數(shù)的估計值j為中心的區(qū)間，考察它以多大的概率包含總體參數(shù)的真實值。方法：預先選擇一個概率（01），使得區(qū)間j-，j+包含參數(shù)真值j的概率為1-即Pj-jj+=1-計算其中的（=t2Sj），從而求出1-置信度下j的置信區(qū)間：（j-t2Sj，j+t2Sj）掌握概念：置信區(qū)間 置信度 顯著性水平實際應用中，我們希望置信度越高越好，置信區(qū)間越小越好（說明估計精度越高）。